5 大数定律及中心极限定理

大数定律

收敛定义

依概率收敛 $Y_n \xrightarrow{P} Y$

设 $Y_n$ 为随机变量列，$Y$ 为随机变量，若 $\forall \varepsilon > 0$，有：

\[ \begin{cases} \lim_{n\rightarrow \infty} P\{|Y_n-Y|\geq \varepsilon\}=0\\ \lim_{n\rightarrow \infty} P\{|Y_n-Y|< \varepsilon\}=1 \end{cases} \]

几乎处处收敛 $Y_n \xrightarrow{a.s.} Y$

\[ \lim_{n\rightarrow \infty} P\{Y_n-Y\}=1 \]

依分布收敛 $Y_n \xrightarrow{W} Y$

$Y_n$ 的分布函数 $F_n(y)$，$Y$ 的分布函数 $F(y)$，对任意点 $y$，有 $\lim\limits_{n \to \infty} F_n(y) = F(y)$

大数常见定理

伯努利大数定律

设 $n_A$ 为 $n$ 次独立重复试验中事件 A 发生的次数。

$p$ 是事件 A 在每次试验中发生的概率，则事件 A 的频率依概率收敛到概率 $p$，即对于任意 $\varepsilon > 0$，有

\[ \lim_{n \to \infty} P\left\{\left|\frac{n_A}{n} - p\right| \geq \varepsilon\right\} = 0. \]

切比雪夫大数定律

定理：设 $\{X_n\}$ 是相互独立的随机变量序列，具有相同的数学期望和方差，记为：

\[ E(X_i) = \mu, D(X_i) = \sigma^2 \quad (i = 1, 2, \ldots) \]

则 $\forall \varepsilon > 0$，有

\[ \lim_{n \to \infty} P\left\{\left|\frac{1}{n}\sum_{i=1}^n X_i - \mu\right| \geq \varepsilon\right\} = 0. \]

辛钦大数定律

定理：设 $X_1, X_2, \ldots, X_n, \ldots$ 相互独立，且服从同一分布，数学期望 $E(X_k) = \mu, k = 1, 2, \ldots$，则 $\{X_n\}$ 服从大数定律，即对于任意 $\varepsilon > 0$，有：

\[ \lim_{n \to \infty} P\left\{\left|\frac{1}{n}\sum_{i=1}^n X_i - \mu\right| \geq \varepsilon\right\} = 0. \]

辛钦对方差没有要求！

中心极限定理

解释

大量独立随机变量之和的分布，近似服从正态分布。

林德贝格-列维中心极限定理

$ X_1,X_2,\cdots,X_n,\cdots$ 独立同分布，存在数学期望和方差，且方差非零。则当 $n$ 很大时，$\sum_{k = 1}^{n}X_k$ 近似服从正态分布 $N(0,1)$。

随机变量之和 $\sum_{k = 1}^{n}X_k$ 的标准化变量

\[ Y_n= \frac {{\sum_{k=1}^n X_k-n\mu}} {\sqrt n \sigma} \]

棣莫弗-拉普拉斯中心极限定理

设随机变量 $\eta_n\sim b(n,p) $，则当 $n$ 很大时，近似服从正态分布 $N(0,1)$。

\[ \lim_{n\rightarrow \infty} P\{\frac{\eta_n - np}{\sqrt{np(1-p)}} \leq x\} =\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^{2}}{2}}dt \]

李雅普诺夫中心极限定理

去掉了 同分布 条件。