Что такое бит

Бит — минимальная единица информации в цифровых системах. Он имеет два возможных состояния, чаще всего 0 и 1.

Ключевые моменты:

• В машинном виде бит реализуется как некоторое состояние носителя: напряжение/ток (0 или 1), оптический импульс и т.д.
• Единицы измерения: количество информации измеряют в битах (bits). Скорость передачи — в битах в секунду (бит/с, bps). 1 байт = 8 бит.
• Пример: 1 бит может различать 2 состояния; 3 бита — 2^3 = 8 возможных состояний (например, 8 разных символов).

Связь с теорией информации:

• Количество информации, которое несет сообщение, для равновероятных исходов равно log2(N) бит, где N — число возможных исходов.
• Для бинарного источника с двумя равновероятными состояниями одна единица информации соответствует одному биту.
• Максимальная энтропия для дискретного источника ограничена логарифмом по числу состояний: H(X) ≤ log2(|X|) бит.

Пару слов о различиях:

• бит — единица информации (фактически «количество неопределенности», которое уменьшается доlearning одного бинарного решения).
• байт — единица объема данных, обычно 8 бит.

Если нужно — могу привести формулы для энтропии, канальной пропускной способности или примеры задач на вычисление количества бит в сообщении.