Что такое бит

Бит — минимальная единица информации в цифровых системах. Он имеет два возможных состояния, чаще всего 0 и 1. Ключевые моменты: - В машинном виде бит реализуется как некоторое состояние носителя: напряжение/ток (0 или 1), оптический импульс и т.д. - Единицы измерения: количество информации измеряют в битах (bits). Скорость передачи — в битах в секунду (бит/с, bps). 1 байт = 8 бит. - Пример: 1 бит может различать 2 состояния; 3 бита — 2^3 = 8 возможных состояний (например, 8 разных символов). Связь с теорией информации: - Количество информации, которое несет сообщение, для равновероятных исходов равно log2(N) бит, где N — число возможных исходов. - Для бинарного источника с двумя равновероятными состояниями одна единица информации соответствует одному биту. - Максимальная энтропия для дискретного источника ограничена логарифмом по числу состояний: H(X) ≤ log2(|X|) бит. Пару слов о различиях: - бит — единица информации (фактически «количество неопределенности», которое уменьшается доlearning одного бинарного решения). - байт — единица объема данных, обычно 8 бит. Если нужно — могу привести формулы для энтропии, канальной пропускной способности или примеры задач на вычисление количества бит в сообщении.