конспект статистическая устойчивость и оценки с помощью выборки

Ниже конспект на тему: статистическая устойчивость и оценки с помощью выборки. Данный материал рассчитан на общую школу и включает понятия, примеры и практические шаги.

1. Что такое статистическая устойчивость

• Устойчивая статистика — это характеристика данных или оценок, которая мало реагирует на небольшие изменения в данных, выбросы или отклонения от модели.
• Зачем нужна устойчивость: в реальной жизни данные могут содержать ошибки, выбросы или тяжёлые хвосты распределения. Устойчивые оценки позволяют получать достоверные выводы даже при таких несовпадениях.
• Пример интуитивно: среднее арифметическое очень чувствительно к большому числу, например к экстремальному значению 100, тогда как медиана остаётся близкой к большинству остальных значений.

2. Основные устойчивые оценки (что и как считать)

• Медиана (цена делит данные на две половины): упорядоченный набор; если количество наблюдений нечётное — середина; если чётное — среднее двух средних.
  • Пример: данные 2, 3, 3, 4, 100 → медиана = 3.
• Усечённое среднее (trimmed mean): удаляем по крайним значениям часть данных и считаем среднее оставшихся.
  • Пример: взять 1 от каждого конца и посчитать среднее оставшихся.
• В Winsorized-мире (Winsorized mean): заменяем крайние значения на ближайшие допустимые и считаем среднее.
• MAD (медианное абсолютное отклонение от медианы): мера разброса, устойчива к выбросам.
  • Формула: MAD = медиана(|Xi − медиана(X)|).
  • Пример: если медиана равна 3, данные 2, 3, 3, 4, 100 → отклонения: 1, 0, 0, 1, 97 → упорядочиваем: 0, 0, 1, 1, 97 → MAD = 1.
• Другие устойчивые методы: альтернативные M-оценки (например, Huber’s loss — реже на школьной практике, но можно упомянуть как идея) и устойчивые оценки масштаба (например, MAD как заменитель дисперсии в устойчивых анализах).

3. Понимание устойчивости через «break-down point» (предел выхода оценки из строя)

• Идея: сколько выбросов можно добавить к данным, прежде чем оценка «сломается» (станет сильно неверной).
• Пример по интуиции:
  • Медиана: может устоять даже если половина данных — выбросы; breakdown point = 0.5 (можно поменять до 50% данных — всё ещё останется разумной).
  • Среднее: очень чувствительно к выбросам; breakdown point близок к 0.
• Вывод: для данных с выбросами чаще используют медиану, MAD и другие устойчивые методы.

4. Оценки параметров по выборке: точечные и интервальные

• Точечные оценки
  • Положение центра: среднее x̄, медиана.
  • Разброс (вариация): стандартное отклонение s (для нормального подхода), MAD как более устойчивая мера.
• Интервальные оценки (доверительные интервалы)
  • Для среднего при нормальном приближении и неизвестной дисперсии:
    • Классический t-интервал: x̄ ± t_(n−1, α/2) · (s/√n).
  • Для устойчивых мер часто применяют бутстрап (bootstrap):
    • Перебираем данных с возвращением (повторно выбираем выборку размером n из исходной) много раз (например 1000–10000).
    • Для каждой новой выборки считаем интересующую статистику (медиана, MAD, устойчивое среднее и т.д.).
    • Берём 2.5-й и 97.5-й перцентили распределения полученных значений — получается доверительный интервал.
  • Интервалы для медианы сложнее простыми формулами; бутстрап — удобный универсальный подход.

5. Пошаговый ориентир для анализа по выборке (как действовать на практике)

• Шаг 1: посмотреть данные (гистограмма, диаграмма размаха) и определить наличие выбросов.
• Шаг 2: посчитать несколько характеристик:
  • Центр: среднее x̄ и/или медиана.
  • Разброс: стандартное отклонение s и/или MAD.
• Шаг 3: выбрать устойчивые оценки, если данные содержат выбросы или тяжёлые хвосты:
  • Медиана и MAD — базовый выбор.
  • Усечённое или Winsorized среднее как компромисс.
• Шаг 4: оценить устойчивость данных:
  • Сравнить значения x̄ и медианы.
  • Посмотреть влияние крайних значений на результат.
• Шаг 5: построение доверительных интервалов:
  • Если данные близки к нормальному распределению и выбросов мало — используйте классический интервал для среднего.
  • Если выбросы есть или нужен более устойчивый подход — применяйте бутстрап для медианы или устойчивых оценок.
• Шаг 6: сделать выводы по задаче: какие выводы остаются надёжными при наличии выбросов.

6. Пример с числовыми расчётами (упрощённо)

• Данные: 2, 3, 3, 4, 100 (n = 5)
• Среднее x̄ = (2+3+3+4+100)/5 = 112/5 = 22.4
• Медиана = 3 (в упорядоченном наборе 2,3,3,4,100 середина — 3)
• MAD:
  • Медиана = 3
  • Абсолютные отклонения: |2−3|=1, |3−3|=0, |3−3|=0, |4−3|=1, |100−3|=97
  • Упорядочиваем: 0, 0, 1, 1, 97 → MAD = 1
• Усечённое среднее (например, удаляем по одному крайнему значению): удаляем 2 и 100 → остаётся 3,3,4 → усечённое среднее = (3+3+4)/3 = 3.333
• Вывод по устойчивости: среднее настолько чувствительно к выбросу 100, что его значение 22.4, тогда как медиана и MAD показывают устойчивые характеристики центра и разброса (медиана = 3, MAD = 1).

7. Когда что использовать

• Если данные без выбросов и хвостов близко к нормальному — можно использовать среднее и стандартное отклонение.
• Если в данных есть выбросы: предпочтительнее медиана и MAD, или усечённое/ Winsorized среднее; для оценки разброса — MAD.
• Для надёжной интерпретации доверительных интервалов в бытовой школе удобно применять бутстрап.

8. Краткая памятка

• Устойчивые оценки уменьшают влияние аномалий.
• Медиана и MAD — базовые устойчивые инструменты для центра и разброса.
• Разновидности средних (усечённое и Winsorized) дают компромисс между точностью и устойчивостью.
• Для надёжной оценки доверия к результатам чаще всего применяют бутстрап — он не требует строгих предположений о распределении.
• При отсутствии информации о распределении выбирайте простые, понятные подходы (медиана, MAD, бутстрап).

Если хочешь, могу предложить более детальные примеры по конкретной задаче или помочь подготовить короткую шпаргалку с формулами под твой уровень (например, для школьной контрольной по статистике). Также могу привести пошаговый расчет бутстрапа на маленьком наборе данных, чтобы было понятно, как строить доверительные интервалы устойчивыми методами.