сколько информации содержит сообщение о выпадении грани с числом 4 на шестигранном игральном кубике

Задача: сколько информации содержит сообщение о выпадении грани с числом 4 на шестигранном игральном кубике.

Предположим, что кубик справедливый: все 6 граней равновероятны, вероятность любой конкретной грани равна 1/6.

1. Определение события

• Событие A: на кубике выпала грань с числом 4.

2. Вероятность события

• P(A) = 1/6.

3. Информация, связанная с данным событием

• В теории информации информация, которую дает сообщение об этом событии, равна I(A) = -log2 P(A).
• Это мера « surprisal »: чем менее вероятно событие, тем больше информации несет его сообщение.

4. Расчет

• I(A) = -log2(1/6) = log2(6).
• Вычисление: log2(6) = log2(2) + log2(3) ≈ 1 + 1.585 ≈ 2.58496.

5. Ответ

• Информация, содержащая сообщение о выпадении грани 4, примерно 2.585 бит.
• Альтернативно можно привести в виде точного выражения: log2(6) бит.
• Дополнение: если нужна другая единица измерения, можно привести в наттах: ln(6) ≈ 1.792 натта.

6. Примечание

• Этот же результат справедлив для любой конкретной грани у равновероятного шестигранника: I = log2(6) бит для любой конкретной грани (скорость информации одной конкретной победы). Если кубик неравновероятный, формула остаётся I(A) = -log2 P(A) с реальной P(A).