9 方差分析和回归分析
方差分析
回归分析
\[
Y=ax+b+\epsilon \quad \epsilon \sim (0, \sigma^2)
\]
\[
Y \sim N(ax+b, \sigma^2)
\]
系数估计 a、b
\[
S_{xx} = \sum(x_i - \overline x)^2
\]
\[
S_{yy} = \sum (y_i - \overline y)^2
\]
\[
S_{xy} = \sum (x_i - \overline x) (y_i - \overline y)
\]
导出系数 a、b 的估计：
\[
\hat b = \frac {S_{xy}} {S_{xx}} \quad \hat a= \overline y - \overline x \frac {S_{xy}} {S_{xx}}
\]
拟合残差满足：
\[
\sum_{i=1}^n(y_i-\widehat{y_i})=\sum_{i=1}^n(y_i-\bar{y})-\widehat{b}\sum_{i=1}^n(x_i-\bar{x})=0
\]
系数估计 \(\sigma\)
估计随机误差方差 → 描述波动程度。
残差平方和 \(Q_e\)：
\[
Q_e =\sum_{i=1}^n(y_i-\hat{y}_i)^2 =S_{yy} - \hat b S_{xy}
\]
系数 \(\sigma\) 的无偏估计：
\[
\widehat {\sigma^2} = \frac {Q_e} {n-2}
\]
对比，\(\sigma\) 的极大似然估计：
\[
\widehat {\sigma^2} = \frac {Q_e} {n}
\]
观测值的预测区间
TODO
线性假设的显著性检验
TODO