Алфавит состоит из 100 символов какое количество информации несёт один символ этого алфавита

Задача из теории информации. Пусть алфавит состоит из N символов и все символы равновероятны.

• Информация, которая получается при выборе одного символа, равна I = -log2(p) = -log2(1/N) = log2(N) бит.
• Здесь N = 100, значит I = log2(100) бит.

Вычисление:

• log2(100) = log2(10^2) = 2·log2(10) ≈ 2 · 3.32193 ≈ 6.64386 бит.
• То есть один символ из алфавита из 100 символов содержит примерно 6.64 бит информации.

Дополнительные замечания (на случай интереса к кодированию):

• Для фиксированной кодировки минимальное число бит на символ должно быть не меньше 7, потому что 2^6 = 64 < 100 ≤ 128 = 2^7.
• При оптимальном префиксном кодировании для равновероятных 100 символов средняя длина кода будет примерно 6.72 бит на символ (28 символов можно закодировать за 6 бит, 72 — за 7 бит; средняя длина L = (28·6 + 72·7)/100 = 6.72). Это чуть больше теоретической емкости log2(100) ≈ 6.64 бит.