Конспект статистическая устойчивость и оценки с помощью выборки

Ниже конспект на тему: статистическая устойчивость и оценки с помощью выборки. Данный материал рассчитан на общую школу и включает понятия, примеры и практические шаги. 1) Что такое статистическая устойчивость - Устойчивая статистика — это характеристика данных или оценок, которая мало реагирует на небольшие изменения в данных, выбросы или отклонения от модели. - Зачем нужна устойчивость: в реальной жизни данные могут содержать ошибки, выбросы или тяжёлые хвосты распределения. Устойчивые оценки позволяют получать достоверные выводы даже при таких несовпадениях. - Пример интуитивно: среднее арифметическое очень чувствительно к большому числу, например к экстремальному значению 100, тогда как медиана остаётся близкой к большинству остальных значений. 2) Основные устойчивые оценки (что и как считать) - Медиана (цена делит данные на две половины): упорядоченный набор; если количество наблюдений нечётное — середина; если чётное — среднее двух средних. - Пример: данные 2, 3, 3, 4, 100 → медиана = 3. - Усечённое среднее (trimmed mean): удаляем по крайним значениям часть данных и считаем среднее оставшихся. - Пример: взять 1 от каждого конца и посчитать среднее оставшихся. - В Winsorized-мире (Winsorized mean): заменяем крайние значения на ближайшие допустимые и считаем среднее. - MAD (медианное абсолютное отклонение от медианы): мера разброса, устойчива к выбросам. - Формула: MAD = медиана(|Xi − медиана(X)|). - Пример: если медиана равна 3, данные 2, 3, 3, 4, 100 → отклонения: 1, 0, 0, 1, 97 → упорядочиваем: 0, 0, 1, 1, 97 → MAD = 1. - Другие устойчивые методы: альтернативные M-оценки (например, Huber’s loss — реже на школьной практике, но можно упомянуть как идея) и устойчивые оценки масштаба (например, MAD как заменитель дисперсии в устойчивых анализах). 3) Понимание устойчивости через «break-down point» (предел выхода оценки из строя) - Идея: сколько выбросов можно добавить к данным, прежде чем оценка «сломается» (станет сильно неверной). - Пример по интуиции: - Медиана: может устоять даже если половина данных — выбросы; breakdown point = 0.5 (можно поменять до 50% данных — всё ещё останется разумной). - Среднее: очень чувствительно к выбросам; breakdown point близок к 0. - Вывод: для данных с выбросами чаще используют медиану, MAD и другие устойчивые методы. 4) Оценки параметров по выборке: точечные и интервальные - Точечные оценки - Положение центра: среднее x̄, медиана. - Разброс (вариация): стандартное отклонение s (для нормального подхода), MAD как более устойчивая мера. - Интервальные оценки (доверительные интервалы) - Для среднего при нормальном приближении и неизвестной дисперсии: - Классический t-интервал: x̄ ± t_(n−1, α/2) · (s/√n). - Для устойчивых мер часто применяют бутстрап (bootstrap): - Перебираем данных с возвращением (повторно выбираем выборку размером n из исходной) много раз (например 1000–10000). - Для каждой новой выборки считаем интересующую статистику (медиана, MAD, устойчивое среднее и т.д.). - Берём 2.5-й и 97.5-й перцентили распределения полученных значений — получается доверительный интервал. - Интервалы для медианы сложнее простыми формулами; бутстрап — удобный универсальный подход. 5) Пошаговый ориентир для анализа по выборке (как действовать на практике) - Шаг 1: посмотреть данные (гистограмма, диаграмма размаха) и определить наличие выбросов. - Шаг 2: посчитать несколько характеристик: - Центр: среднее x̄ и/или медиана. - Разброс: стандартное отклонение s и/или MAD. - Шаг 3: выбрать устойчивые оценки, если данные содержат выбросы или тяжёлые хвосты: - Медиана и MAD — базовый выбор. - Усечённое или Winsorized среднее как компромисс. - Шаг 4: оценить устойчивость данных: - Сравнить значения x̄ и медианы. - Посмотреть влияние крайних значений на результат. - Шаг 5: построение доверительных интервалов: - Если данные близки к нормальному распределению и выбросов мало — используйте классический интервал для среднего. - Если выбросы есть или нужен более устойчивый подход — применяйте бутстрап для медианы или устойчивых оценок. - Шаг 6: сделать выводы по задаче: какие выводы остаются надёжными при наличии выбросов. 6) Пример с числовыми расчётами (упрощённо) - Данные: 2, 3, 3, 4, 100 (n = 5) - Среднее x̄ = (2+3+3+4+100)/5 = 112/5 = 22.4 - Медиана = 3 (в упорядоченном наборе 2,3,3,4,100 середина — 3) - MAD: - Медиана = 3 - Абсолютные отклонения: |2−3|=1, |3−3|=0, |3−3|=0, |4−3|=1, |100−3|=97 - Упорядочиваем: 0, 0, 1, 1, 97 → MAD = 1 - Усечённое среднее (например, удаляем по одному крайнему значению): удаляем 2 и 100 → остаётся 3,3,4 → усечённое среднее = (3+3+4)/3 = 3.333 - Вывод по устойчивости: среднее настолько чувствительно к выбросу 100, что его значение 22.4, тогда как медиана и MAD показывают устойчивые характеристики центра и разброса (медиана = 3, MAD = 1). 7) Когда что использовать - Если данные без выбросов и хвостов близко к нормальному — можно использовать среднее и стандартное отклонение. - Если в данных есть выбросы: предпочтительнее медиана и MAD, или усечённое/ Winsorized среднее; для оценки разброса — MAD. - Для надёжной интерпретации доверительных интервалов в бытовой школе удобно применять бутстрап. 8) Краткая памятка - Устойчивые оценки уменьшают влияние аномалий. - Медиана и MAD — базовые устойчивые инструменты для центра и разброса. - Разновидности средних (усечённое и Winsorized) дают компромисс между точностью и устойчивостью. - Для надёжной оценки доверия к результатам чаще всего применяют бутстрап — он не требует строгих предположений о распределении. - При отсутствии информации о распределении выбирайте простые, понятные подходы (медиана, MAD, бутстрап). Если хочешь, могу предложить более детальные примеры по конкретной задаче или помочь подготовить короткую шпаргалку с формулами под твой уровень (например, для школьной контрольной по статистике). Также могу привести пошаговый расчет бутстрапа на маленьком наборе данных, чтобы было понятно, как строить доверительные интервалы устойчивыми методами.