1 2

Кратко

1. За минимальную единицу измерения информации принят бит.
2. Нужно знать мощность алфавита \(N\) — количество различных символов, которыми записываются сообщения. Тогда информационный вес одного символа \(i\) — это наименьшее число бит, для которого выполнено условие \(2^i \ge N\).

Как это работает

• Один бит хранит один двоичный знак: \(0\) или \(1\). Меньше бита единицы информации нет.
• Если на один символ отвести \(i\) бит, получится \(2^i\) различных кодов. Например, при \(i=2\) есть \(4\) кода, при \(i=3\) — \(8\).
• Чтобы закодировать все \(N\) символов, разных кодов должно хватать: \[ 2^i \ge N. \]
• Если \(N\) — степень двойки, удобно использовать равенство \(N=2^i\). Если нет — берут ближайшую бóльшую степень двойки.

Пример-проверка

Для алфавита из \(32\) символов: \[ 2^5=32, \] поэтому на один символ нужно \(5\) бит. Пятью битами действительно можно получить \(32\) разных кода — ровно столько, сколько нужно.

А для \(33\) символов пяти бит мало: \(32<33\), поэтому понадобится \(6\) бит, так как \(2^6=64\ge 33\).

Для конкретного языка важно заранее определить, какие знаки входят в алфавит: буквы, пробел, знаки препинания, цифры и т. п.