Загадано слово из 10 букв. Вы просите открыть пятую букву. Вам её открыли. Сколько информации вы получили?

Ответ: примерно 5 бит информации (точнее log2(33) бит), если считать русский алфавит из 33 букв.

Пошаговое решение и объяснение:

• Допустим, в слове 10 букв, и мы считаем возможные буквы для каждой позиции как 33 варианта (русский алфавит без учёта словарного словарного состава).
• До открытия пятой буквы число возможных слов равно 33^10.
• После открытия пятой буквы эта буква фиксируется и больше не варьируется; количество возможных слов снижается до 33^9.
• Информация, полученная открытием пятой буквы, равна разности информации до и после: log2(33^10) − log2(33^9) = log2(33).
• Значение: log2(33) ≈ 5.04 бит. То есть примерно 5 бит информации.

Дополнительно:

• Если бы алфавит состоял из 26 букв (латиница), то полученная информация была бы log2(26) ≈ 4.7 бит.
• В общем виде формула: количество информации, полученное при раскрытии одной позиции из алфавита размером N, равно log2(N) бит.

Итог: открытие пятой буквы даёт примерно 5 бит информации about the word (при условии 33 букв в алфавите).