Закон больших чисел и предельные теоремы
Кратко по темам: Закон больших чисел и предельные теоремы (основные формулировки и примеры)
- Обозначения
- Пусть X1, X2, … – случайные величины (часто независимые, иногда i.i.d.).
- μ = E[X1] – матожидание.
- σ^2 = Var(X1) – дисперсия (при необходимости существование конечной дисперсии).
- Закон больших чисел (LLN)
Слабый закон больших чисел (WLLN): Если X1, X2, … – независимые и identically distributed с E[X1] = μ и Var(X1) = σ^2 < ∞, то среднее выборки X̄_n = (X1 + … + Xn)/n сходится к μ в вероятности: X̄_n → μ по вероятности. Неравенство Чебышева даёт наглядную оценку: P(|X̄_n − μ| > ε) ≤ σ^2 / (n ε^2).
Сильный закон больших чисел (SLLN): При тех же предпосылках (или хотя бы при независимости и конечном матожидании) X̄_n → μ almost surely (почти где-то почти всюду).
Замечания по условиям:
- Для WLLN достаточно конечного матожидания (ускоренная версия требует ограничений по дисперсии).
- SLLN часто доказывается через критерий Колмогорова для независимых случайных величин, или через подходы с усечением и оценками вероятностей. В базовом курсе чаще приводят случай i.i.d. с конечным μ.
- Предельные теоремы (центральная и другие)
Центральная предельная теорема (ЦПТ): Пусть X1, X2, … – независимые и identically distributed с E[X1] = μ и Var(X1) = σ^2 < ∞. Тогда нормализованная сумма S_n = ∑_{i=1}^n (Xi − μ) удовлетворяет: sqrt(n) (X̄_n − μ) → N(0, σ^2) по слабой схеме (распределение сходится к нормальному с нулевой средой и дисперсией σ^2). Эквивалентно: X̄_n приблизительно нормален с средним μ и дисперсией σ^2/n для больших n.
Обобщенная версия (CLT для независимых, не обязательно одинаково распределённых): Если соблюдается условие Линдеберга (или Ляпунова): s_n^2 = ∑ Var(X_i) и некоторые моменты контролируются, тогда (∑_{i=1}^n (X_i − E[X_i])) / s_n → N(0,1). Это расширение на не одинаково распределённые переменные.
Закон итеративного логарифма (LIL, продвинутая предельная теорема): Для независимых i.i.d. X_i с E[X_i] = μ и Var(X_i) = σ^2 < ∞ выполняется почти наверняка: limsup_{n→∞} (S_n − nμ) / (σ sqrt(2 n log log n)) = 1, liminf_{n→∞} (S_n − nμ) / (σ sqrt(2 n log log n)) = −1. Это говорит о «границах» колебаний сумм; для среднего звучит как предел по sqrt(n).
- Применения и примеры
- Пример 1 (биномиальное): X_i – бернуллиевы с p. Тогда μ = p, σ^2 = p(1−p). WLLN даёт, что X̄_n → p, а ЦПТ даёт, что sqrt(n)(X̄_n − p) → N(0, p(1−p)).
- Пример 2: независимые нормальные переменные с различными дисперсиями. Можно применить обобщённый CLT (Линдеберг) и получить нормальное предсказание для суммарной нормализации.
- Применение: оценка погрешности аппроксимаций нормальным распределением в задачах статистики и теории вероятностей.
- Быстрый план доказательства (на примерах)
- WLLN через Чебышева: P(|X̄_n − μ| > ε) ≤ Var(X1) / (n ε^2). Значит вероятность отклонения падает как 1/n, следовательно X̄_n → μ вprob.
- SLLN для IID с конечным μ и σ^2: Можно показать через разложение S_n − nμ = ∑ (Xi − μ) и применить стандартные критерии с суммами дисперсий; часто приводят вариант Kolmogorov's SLLN: если ∑ Var(X_i)/i^2 < ∞, то (1/n) ∑ (Xi − E[Xi]) → 0 a.s.
- ЦПТ: методом лагом: центрируем и нормируем сумму и используем метод характеристик или метод момента, чтобы показать сходство с N(0, σ^2).
- Что запомнить
- LLN говорит о том, что среднее выборки стабилизируется вокруг математического ожидания по мере роста выборки.
- WLLN оценивает скорость сходимости в вероятности (через неравенство Чебышева).
- SLLN даёт almost sure convergence.
- ЦПТ даёт нормальное приближение для масштабированных средних: нормальное распределение с параметрами μ, σ^2/n.
- Линдеберговы условия расширяют CLT на не идентичные распределения.
- LIL описывает почти точную грань колебаний сумм (глубокая, продвинутая тема).
- Что сделать дальше (задачи для подготовки к экзамену)
- Доказать WLLN для i.i.d. с конечным μ и σ^2 через неравенство Чебышева.
- Применить ЦПТ к X_i ~ Бернулли(p): получить аппроксимацию распределения X̄_n и вычислить интервал доверия.
- Привести пример несходства: обсудить, что происходит, если дисперсия бесконечна (LLN может не выполняться).
- По желанию, разобрать условие Линдеберга и привести пример, где оно выполняется, а где — нет.
Если хотите, могу привести детальный разбор конкретной теоремы (WLLN, SLLN или ЦПТ) с формулировкой условий, доказательством-скетчем и примером под ваш тип задач. Сообщите, какую часть разобрать подробнее.
