Алфавит состоит из 100 символов какое количество информации несёт один символ этого алфавита

Задача из теории информации. Пусть алфавит состоит из N символов и все символы равновероятны. - Информация, которая получается при выборе одного символа, равна I = -log2(p) = -log2(1/N) = log2(N) бит. - Здесь N = 100, значит I = log2(100) бит. Вычисление: - log2(100) = log2(10^2) = 2·log2(10) ≈ 2 · 3.32193 ≈ 6.64386 бит. - То есть один символ из алфавита из 100 символов содержит примерно 6.64 бит информации. Дополнительные замечания (на случай интереса к кодированию): - Для фиксированной кодировки минимальное число бит на символ должно быть не меньше 7, потому что 2^6 = 64 < 100 ≤ 128 = 2^7. - При оптимальном префиксном кодировании для равновероятных 100 символов средняя длина кода будет примерно 6.72 бит на символ (28 символов можно закодировать за 6 бит, 72 — за 7 бит; средняя длина L = (28·6 + 72·7)/100 = 6.72). Это чуть больше теоретической емкости log2(100) ≈ 6.64 бит.