4 随机变量的数字特征
数学期望
公式
若级数 绝对收敛，则称为期望。 $$ E(x)=\sum_{k=1}^{\infty}x_kp_k $$
\[
E(X)=\int_{-\infty}^{+\infty}xf(x)dx
\]
离散型变量的期望
0-1 分布
\[
X\sim b(1,p)\quad E(X) = p
\]
二项分布
\[
b(n, p, k) = \left(\begin{array}{c} n \\ k \end{array}\right) p^k q^{n-k} \quad E(X) = np
\]
泊松分布
\[
P(X = k)=\frac{\lambda^k}{k!} e^{-\lambda} \quad E(X)=\lambda
\]
连续性变量的期望
均匀分布
\[
f(x) = \frac 1{b-a} \quad E(X)=\frac {a+b} 2
\]
指数分布
\[
X\sim Exp(\lambda) \quad f(x)=\lambda e^{-\lambda x} \quad E(X) = \frac 1 {\lambda}
\]
正态分布
\[
X\sim N(\mu,\sigma^2) \quad E(X)=\mu
\]
\[
f(x)=\frac1{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
\]
数学期望的性质
- 线性：\(E(cX)=cE(X)\)
- 设 \(X,Y\) 是相互独立的随机变量，则 \(E(XY)=E(X)E(Y)\)
方差
公式
\[
\begin{aligned}
D(X)&=E[X-E(X)]^2 \\
&=\int_{-\infty}^{+\infty} [X - E(X)]^2 f(x) \, dx \\
&=\sum_{k=1}^{\infty} [x_k - E(X)]^2 p_k
\end{aligned}
\]
\[
D(X)=E[X^2]-[E(X)]^2
\]
方差的性质
- \(C\) 是常数，\(D(C)=0\)
- \(D(aX)=a^2D(X)\)
- \(D(X\pm Y)=D(X)+D(Y)\)
- \(X_1,X_2,\dots,X_n\) 相互独立时，\(D\left(\sum^n_{i=1}Xi\right)=\sum^n_{i=1}D(Xi)\)
- \(D(X)=0\) 的充要条件是 X 以概率 1 取常数 \(C\)，即 \(P\{X=C\}=1\). 显然这里 \(C=E(X)\)
随机变量的方差
两点分布 \(X\sim b(1,p)\)
\[
E(X)=p \quad D(X)=p(1-p)
\]
二项分布 \(X \sim b(n,p)\)
\[
E(X)=np \quad D(X)=npq
\]
泊松分布 \(X \sim \pi(\lambda)\)
\[
E(X)=\lambda \quad D(X)=\lambda
\]
几何分布 \(X\sim Ge(p)\)
\[
E(X)= \frac 1p \quad D(X)=\frac {1-p}{p^2}
\]
均匀分布 \(X\sim U(a,b)\)
\[
E(X)=\frac {a+b}2 \quad D(X)=\frac {(b-a)^2}{12}
\]
指数分布 \(X\sim Exp(\lambda)\)
\[
E(X)= \frac 1{\lambda} \quad D(X)=\frac 1 {\lambda^2}
\]
正态分布 \(X\sim N(\mu,\sigma^2)\)
\[
E(X)=\mu \quad D(X)=\sigma^2
\]
切比雪夫不等式
设随机变量 \(X\) 的期望和方差都存在，且 \(E(X) = \mu\)，\(D(X) = \sigma^2\)，则对任意的 \(\varepsilon > 0\)，有：
\[
P \left\{ |X - \mu| \geq \varepsilon \right\} \leq \frac{\sigma^2}{\varepsilon^2}
\]
可改写为：
\[
P \{ |X - \mu| < \varepsilon \} \geq 1-\frac{\sigma^2}{\varepsilon^2}
\]
协方差与相关系数
协方差
\[
\begin{aligned}
Cov(X,Y) &=E\{[X-E(X)][Y-E(Y)]\} \\
&=E(XY)-E(X)E(Y) \\
&=\frac12 [D(X+Y)-D(X)-D(Y)]
\end{aligned}
\]
协方差的性质
- \(Cov(X,Y)=Cov(Y,X)\)，\(Cov(X,a)=0\)
- \(Cov(aX,bY)=abCov(X,Y)\)
- \(Cov(aX_1+bX_2,Y)=aCov(X_1,Y)+bCov(X_2,Y)\)
- 若 \(X,Y\) 相互独立，则 \(Cov(X,Y)=0\)，即二者不相关
相关系数
\[
\rho_{XY}=\frac {Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}
\]
- \(|\rho_{XY}|=1\)，X 与 Y 之间以概率 1 存在线性关系
特征函数
矩的定义
\(E[(X-c)^k]\) 为 \(X\) 关于 \(c\) 点的 \(k\) 阶矩。
- 若 c = 0，则称 \(E(X^k)\) 为 X 的 k 阶原点矩；
- 若 c = E(X)，则称 \(E\{[X-E(X)]^k\}\) 为 X 的 k 阶中心矩
协方差矩阵
定义
对于二维随机变量\((X_1,X_2)\)，有四个二阶矩：
- \(c_{11}=E\left\{\left[X_{1}-E\left(X_{1}\right)\right]^{2}\right\}=D\left(X_{1}\right)\)
- \(c_{12}=E\left\{\left[X_{1}-E\left(X_{1}\right)\right]\left[X_{2}-E\left(X_{2}\right)\right]\right\}=Cov\left(X_{1},X_{2}\right)\)
- \(c_{21}=E\{ [X_{2}-E(X_{2})][X_{1}-E(X_{1})]\}=Cov(X_{2},X_{1})\)
- \(c_{22}=E\left\{\left[X_{2}-E\left(X_{2}\right)\right]^{2}\right\}=D\left(X_{2}\right)\)
构成一个二阶的方阵 \(C=\left[\begin{array}{ll}c_{11} & c_{12} \\ c_{21} & c_{22}\end{array}\right]\)
称 \(C\) 为随机变量 \((X_1,X_2)\) 的协方差矩阵（协方差阵、协差阵）
性质
- 协方差阵 \(C\) 对角线元素 \(C_{ii}\) 为 \(X_i\) 的方差，即 \(C_{ii}=D(X_i)\)，\(i = 1,\ldots,n\)
- 协方差阵 \(C\) 为对称矩阵，即 \(C_{ij}=C_{ji}\)，\(i,j = 1,\ldots,n\)
- \(C\) 为非负定阵，即对于任意实向量 \(t=(t_1,\ldots,t_n)'\)，有 \(t'Ct\geq0\)
\(n\) 维正态分布
- \((X_1,\ldots,X_n)'\) 服从 n 维正态分布充要条件是 \(X_1,\ldots,X_n\) 的任意线性组合 \(l_1X_1+\cdots+l_nX_n\)（\(l_1,\ldots,l_n\) 是不全为 0 的数）服从一维正态分布。
- 若 \((X_1,\ldots,X_n)'\sim N(\mu,C)\)，设 \(Y=(Y_1,\ldots,Y_m)'=AX\)，即 \(Y_i\) 为 \(X_j\)（\(j = 1,\ldots,n\)）的线性函数，\(i = 1,\ldots,m\)，则 \(Y\sim N(A\mu,ACA')\)，其中 \(A\) 为 \(m\) 行 \(n\) 列且秩为 \(m\) 的矩阵。
- 若 \((X_1,\ldots,X_n)\) 服从 n 维正态分布，则 \((X_1,\ldots,X_n)\) 相互独立与 \(X_1,\ldots,X_n\) 两两不相关是等价的。