Сообщение записано с помощью двоичного кода: 10101010101 10101010101 . Определи его информационный объём в битах.

Цель: понять.

Ключевая идея: в сообщении два блока равны, поэтому второй блок не добавляет новую информацию. Рассмотрим два взгляда.

1. Резюме ответа (информационный объём с учетом повторения)

• Блок B = 10101010101 имеет длину 11 бит.
• Сообщение M состоит из двух повторяющихся блоков: BB.
• Информационный объём этого сообщения равен количеству бит, необходимых для однозначного указания блока B, то есть 11 бит.
• Следовательно, информационный объём составляет 11 бит.

2. Примечание по возможности трактовки

• Если считать просто длину «сырого» двоичного сообщения, то ее длина равна 22 бит (2 блока по 11 бит).
• Если же учитывать redundancy и то, что второй блок повторяет первый, то фактическая новая information = 11 бит.

Пояснение:

• Пусть B — произвольный 11-битовый блок. Сообщение M = BB может принимать 2^11 различных значений (зависит от того, какой именно B), поэтому количество информации, которое нужно, чтобы однозначно зафиксировать M, равно логарифму по основанию 2 от количества таких вариантов: log2(2^11) = 11 бит.

Ответ: 11 бит (как фактический информационный объём с учётом повторения). Если же нужна просто длина сообщения без учёта повторения — 22 бита.