Есть табличное значение частоты буквы «н» в русском языке и равно 0,065. В других текстах для анализа частота буквы «н» равно: 0,052; 0,079; 0,053 . Вопрос: сравнить полученные…

Кратко: ваши значения 0,052; 0,079; 0,053 различаются между собой и от табличного 0,065, но все попадают в диапазон весьма разумной вариации для частотной оценки в текстах разной тематики. Различия объясняются особенностями корпуса и методики подсчёта.

Что означает сравнение

• Табличное значение 0,065 чаще приводят как среднюю частоту буквы н по крупному общему русскому корпусу. Это приблизительно 6,5–6,7%.
• Ваши наблюдения: 0,052 (ниже), 0,079 (выше), 0,053 (почти как ниже). Среднее по трём текстам ≈ 0,061.
• Разница между 0,061 и 0,065 невелика (около 0,4 процентного пункта). В рамках нормальной вариации.

Основные причины расхождений

• Жанр и тематика текста: художественная литература, научные статьи, публицистика и т.д. различаются по распределению слов и форм, что влияет на частоту встреч буквы н.
• Размер выборки: чем меньше текст (или чем короче отрезок), тем больше статистическая вариация. При N тысячах букв стандартная ошибка p̂ примерно sqrt(p(1-p)/N). Мелкие выборки дают заметные колебания.
• Методы подсчёта: как учитывается регистр, пунктуация, буквы Ё/Е, другие особенности кодировки. Например, если в расчёте учитывали только буквы, исключали цифры и знаки, или же различали Ё и Е, это может немного сместить частоты.
• Этап нормализации: иногда частоты приводят на 1000 букв или на 100 букв и т. п. Разные способы нормализации дают разные цифры.
• Диалекты и исторические тексты: в отдельных диалектах или старых текстах распределение букв может отличаться от современного среднего по языку.

Как аккуратно сравнить и понять различия

• Убедитесь, что сравниваете одинаково: count только буквы (алфавит), переводите к нижнему регистру, единообразно трактуйте Ё/Е и т. п., исключаете знаки препинания и цифры.
• Рассчитайте вероятность и доверительный интервал для ваших выборок:
  • p̂ = число н в тексте / общее число букв в тексте.
  • SE = sqrt(p̂(1 - p̂) / N), где N — число букв.
  • 95% доверительный интервал: p̂ ± 1.96·SE.
• Сравните ваши p̂ с табличным 0,065 в пределах доверительного интервала. Если 0,065 не попадает в интервал, текст может принадлежать к другой жанровой/темной группе, либо выборка слишком мала.

Пример расчёта (приблизительно)

• Пусть текст содержит N = 2000 букв, и найдено k = 106 н → p̂ = 106/2000 = 0,053.
• SE ≈ sqrt(0,053·0,947/2000) ≈ sqrt(0,0502/2000) ≈ sqrt(0,0000251) ≈ 0,005.
• 95% доверительный интервал ≈ 0,053 ± 0,010 → [0,043, 0,063], который практически включает табличное 0,065 лишь на верхней границе. В таком случае отклонение не слишком значимо и может быть объяснено размером массива.

Как минимизировать расхождения в дальнейшем

• Используйте более крупные и однородные по жанру корпуса для сравнения с табличным значением.
• Приводите все тексты к единой процедуре подсчёта (регистр, ё/е, исключение неалфавитных символов).
• Рассчитывайте и сообщайте доверительные интервалы для ваших p̂.
• Если нужно сравнить с табличным значением, укажите источник табличного коэффициента (какой корпус, год, стиль) и поясните, к какому типу текстов относится ваша выборка.

Коротко по сути: расхождения в 0,052; 0,079; 0,053 по отношению к 0,065 объясняются нормальной вариацией между текстами разных жанров и размерами выборки, а также методикой подсчёта. При единообразной методике и достаточном размере выборки разница будет минимальной и статистически незначимой.