回帰直線（最小二乗法）（統計検定2級 2.3）
このページはプロモーション（広告）を含みます。
第2章 2変数データの記述の解説記事
相関係数が「関係の強さ」を表すのに対し、回帰直線は「$x$ が1増えると $y$ がどれだけ変わるか」を表し、$x$ から $y$ を予測するための道具です。
公式（$y$ の $x$ への回帰）
$\hat y=a+bx$ として、残差平方和 $\sum(y_i-a-bx_i)^2$ を最小にすると$$b=\frac{s_{xy}}{s_x^2}=r\,\frac{s_y}{s_x},\qquad a=\bar y-b\,\bar x$$決定係数：$$R^2=1-\frac{\sum(y_i-\hat y_i)^2}{\sum(y_i-\bar y)^2}=r^2$$
$\hat y=a+bx$ として、残差平方和 $\sum(y_i-a-bx_i)^2$ を最小にすると$$b=\frac{s_{xy}}{s_x^2}=r\,\frac{s_y}{s_x},\qquad a=\bar y-b\,\bar x$$決定係数：$$R^2=1-\frac{\sum(y_i-\hat y_i)^2}{\sum(y_i-\bar y)^2}=r^2$$
なぜこの形か
残差平方和を $a$ で微分して 0 とおくと $\bar y=a+b\bar x$、つまり回帰直線は必ず平均の点 $(\bar x,\bar y)$ を通ります。さらに $b$ で微分すると $b=s_{xy}/s_x^2$ が出ます。この条件から、残差の合計は 0、残差と $x$ の相関も 0 になります。
残差平方和を $a$ で微分して 0 とおくと $\bar y=a+b\bar x$、つまり回帰直線は必ず平均の点 $(\bar x,\bar y)$ を通ります。さらに $b$ で微分すると $b=s_{xy}/s_x^2$ が出ます。この条件から、残差の合計は 0、残差と $x$ の相関も 0 になります。
求め方の手順
| 与えられた情報 | 傾き $b$ | 切片 $a$ |
|---|---|---|
| 生データ | $\sum(x-\bar x)(y-\bar y)\,/\,\sum(x-\bar x)^2$ | $\bar y-b\bar x$ |
| 共分散と分散 | $s_{xy}/s_x^2$ | $\bar y-b\bar x$ |
| 相関係数と標準偏差 | $r\,s_y/s_x$ | $\bar y-b\bar x$ |
数値例1：要約統計量から
$\bar x=50,\ \bar y=60,\ s_x=10,\ s_y=12,\ r=0.6$ のとき、$b=0.6\times12/10=0.72$、$a=60-0.72\times50=24$。回帰直線は $\hat y=24+0.72x$ で、$x=70$ の予測値は $74.4$。決定係数は $0.6^2=0.36$ で、$y$ の変動の36%を $x$ で説明できます。
数値例2：生データから
$x=2,4,6,8,10$、$y=3,7,5,11,9$（「共分散と相関係数」と同じデータ、図1）では $b=32/40=0.8$、$a=7-0.8\times6=2.2$。残差は $-0.8,\ 1.6,\ -2.0,\ 2.4,\ -1.2$ で合計 0。残差平方和は $14.4$、全平方和は $40$ なので $R^2=1-14.4/40=0.64=0.8^2$ です。
ひっかけ
- 「$x$ の $y$ への回帰」の傾きは $s_{xy}/s_y^2$ で、$y$ の $x$ への回帰の逆数ではない。2本の傾きの積は $r^2$ になる。
- $R^2=r^2$ は説明変数が1つのときの話。重回帰では $R^2$ は重相関係数の2乗。
- 観測範囲の外で予測する（外挿）と、直線関係が保たれている保証はない。
- 親の身長が高いほど子も高いが、傾きは1より小さく、子は平均寄りになる（平均への回帰）。これは因果ではなく $|r|\lt 1$ から生じる統計的な現象。
得点のコツ
傾きと相関係数の符号は常に一致する。選択肢に切片の値が並んでいたら「$(\bar x,\bar y)$ を代入して成り立つか」で一気に絞り込める。単位を変換する問題（$y$ を1000倍など）では、傾きと切片は変わるが $R^2$ は変わらない。
傾きと相関係数の符号は常に一致する。選択肢に切片の値が並んでいたら「$(\bar x,\bar y)$ を代入して成り立つか」で一気に絞り込める。単位を変換する問題（$y$ を1000倍など）では、傾きと切片は変わるが $R^2$ は変わらない。
統計検定2級 合格ナビ：統計検定2級の問題集アプリ。本番と同じ5択・数値表と電卓で解くオリジナル問題173問と、35問90分の模擬試験。解説記事・公式集・数値表と第1・2章の問題は登録なしで無料。全問は1,480円の買い切り。
アプリを無料で開く有料版と無料版の違い