回帰モデルと平方和の分解（統計検定2級 10.1）
このページはプロモーション（広告）を含みます。
第10章 線形モデルの解説記事
回帰分析は、ある変数 $y$ を別の変数 $x$ で説明・予測するための方法です。データに最もよく当てはまる直線を引き、$y$ のばらつきのうち直線で説明できる部分と説明できない部分に分けて、当てはまりの良さを測ります。
単回帰モデルと最小二乗推定
モデル：$y_i=\beta_0+\beta_1x_i+\varepsilon_i$（$\varepsilon_i$ は平均 0・分散 $\sigma^2$ の誤差）
推定値：$\hat\beta_1=\dfrac{S_{xy}}{S_{xx}}$、$\hat\beta_0=\bar{y}-\hat\beta_1\bar{x}$
（$S_{xx}=\sum(x_i-\bar{x})^2$、$S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$）
平方和の分解：$\underbrace{\sum(y_i-\bar{y})^2}_{S_T\ (\text{総平方和})}=\underbrace{\sum(\hat{y}_i-\bar{y})^2}_{S_R\ (\text{回帰平方和})}+\underbrace{\sum(y_i-\hat{y}_i)^2}_{S_E\ (\text{残差平方和})}$
決定係数：$R^2=\dfrac{S_R}{S_T}=1-\dfrac{S_E}{S_T}$
モデル：$y_i=\beta_0+\beta_1x_i+\varepsilon_i$（$\varepsilon_i$ は平均 0・分散 $\sigma^2$ の誤差）
推定値：$\hat\beta_1=\dfrac{S_{xy}}{S_{xx}}$、$\hat\beta_0=\bar{y}-\hat\beta_1\bar{x}$
（$S_{xx}=\sum(x_i-\bar{x})^2$、$S_{xy}=\sum(x_i-\bar{x})(y_i-\bar{y})$）
平方和の分解：$\underbrace{\sum(y_i-\bar{y})^2}_{S_T\ (\text{総平方和})}=\underbrace{\sum(\hat{y}_i-\bar{y})^2}_{S_R\ (\text{回帰平方和})}+\underbrace{\sum(y_i-\hat{y}_i)^2}_{S_E\ (\text{残差平方和})}$
決定係数：$R^2=\dfrac{S_R}{S_T}=1-\dfrac{S_E}{S_T}$
なぜ平方和がきれいに2つに分かれるのか
$y_i-\bar{y}=(\hat{y}_i-\bar{y})+(y_i-\hat{y}_i)$ を2乗して足すと交差項 $2\sum(\hat{y}_i-\bar{y})(y_i-\hat{y}_i)$ が出ますが、最小二乗法の残差は「合計が 0」「$x$ と無相関」という性質をもつため、この交差項は 0 になります。つまり平方和の分解は、最小二乗法で当てはめたからこそ成り立つ関係です。
$y_i-\bar{y}=(\hat{y}_i-\bar{y})+(y_i-\hat{y}_i)$ を2乗して足すと交差項 $2\sum(\hat{y}_i-\bar{y})(y_i-\hat{y}_i)$ が出ますが、最小二乗法の残差は「合計が 0」「$x$ と無相関」という性質をもつため、この交差項は 0 になります。つまり平方和の分解は、最小二乗法で当てはめたからこそ成り立つ関係です。
| 量 | 意味 | 性質 |
|---|---|---|
| 残差 $e_i=y_i-\hat{y}_i$ | 直線で説明できない部分 | $\sum e_i=0$、回帰直線は $(\bar{x},\bar{y})$ を通る |
| $R^2$ | $y$ の変動のうち回帰で説明できた割合 | $0\le R^2\le1$。単回帰では相関係数の2乗 $r^2$ |
| 残差の分散の推定 | $\hat\sigma^2=S_E/(n-2)$ | 単回帰で推定した係数は2個なので $n-2$ |
| $S_R$（単回帰） | 回帰で説明できた変動 | $S_R=\hat\beta_1S_{xy}=S_{xy}^2/S_{xx}$ |
数値例
$x=1,2,3,4,5$、$y=2,4,5,4,5$。$\bar{x}=3$、$\bar{y}=4$、$S_{xx}=10$、$S_{xy}=6$、$S_{yy}=6$。
$\hat\beta_1=6/10=0.6$、$\hat\beta_0=4-0.6\times3=2.2$。予測値は 2.8, 3.4, 4.0, 4.6, 5.2、残差は $-0.8, 0.6, 1.0, -0.6, -0.2$（合計 0）。
$S_E=0.64+0.36+1.00+0.36+0.04=2.4$、$S_T=6$、$S_R=6-2.4=3.6$（$=0.6\times6$ とも一致）。$R^2=3.6/6=0.6$。相関係数 $r=6/\sqrt{10\times6}\approx0.775$ の2乗も 0.6 になります。
ひっかけ
- $R^2$ が高いことは因果関係を意味しませんし、モデルが正しいことの保証でもありません。
- 重回帰では説明変数を増やすと $R^2$ は下がりません。変数の数を考慮した自由度調整済み決定係数 $1-\dfrac{S_E/(n-p-1)}{S_T/(n-1)}$ で比べます（$p$ は説明変数の数）。
- $x$ で $y$ を予測する直線と、$y$ で $x$ を予測する直線は一般に一致しません。
得点のコツ
$S_T$、$S_R$、$S_E$、$R^2$ のうち2つが分かれば残りは出せます。特に「$S_E=(1-R^2)S_T$」は空欄補充で頻出です。単回帰なら $R^2=r^2$ を使って相関係数からも逆算できます（符号は傾きの符号と同じ）。出力表の読み方は「回帰出力表の読み方」の記事で扱います。
$S_T$、$S_R$、$S_E$、$R^2$ のうち2つが分かれば残りは出せます。特に「$S_E=(1-R^2)S_T$」は空欄補充で頻出です。単回帰なら $R^2=r^2$ を使って相関係数からも逆算できます（符号は傾きの符号と同じ）。出力表の読み方は「回帰出力表の読み方」の記事で扱います。
統計検定2級 合格ナビ：統計検定2級の問題集アプリ。本番と同じ5択・数値表と電卓で解くオリジナル問題173問と、35問90分の模擬試験。解説記事・公式集・数値表と第1・2章の問題は登録なしで無料。全問は1,480円の買い切り。
アプリを無料で開く有料版と無料版の違い