В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несёт сообщение о том, что из коробки достали красный кубик?

Цель: понять.

Задача: в коробке 16 кубиков, все цвета разные. Какое количество информации несёт сообщение «из коробки достали красный кубик»?

Пояснение:

• Есть 16 равновероятных исходов (кто может попасться красным цветом: один из 16 цветов).
• Вероятность того, что достали красный, равна p = 1/16.
• Информация, содержащаяся в сообщении о событии с вероятностью p, равна I = -log2(p) = -log2(1/16) = log2(16) = 4.

Ответ: сообщение несёт 4 бита информации.

Короткое резюме: извлечение красного кубика сузило число возможных вариантов с 16 до 1, что эквивалентно 4 битам информации.