回帰係数・残差・決定係数をどう読むか。

架空データによる単回帰分析の計算例

単回帰モデルの理解を深めるため、「1日の学習時間（X：時間）」と「テストの得点（Y：点）」に関する5人分の架空データで回帰方程式を手計算する流れを示します。

【5人のデータ点 (X, Y)】 ・Aさん (1, 40) ・Bさん (2, 50) ・Cさん (3, 70) ・Dさん (4, 70) ・Eさん (5, 90)

まず平均値を計算します。 ・Xの平均： (1 + 2 + 3 + 4 + 5) / 5 = 3 時間 ・Yの平均： (40 + 50 + 70 + 70 + 90) / 5 = 64 点

回帰式の傾き（回帰係数 β）を計算するため、Xの偏差平方和（分母）と、XとYの共分散の分子にあたる偏差の積の和（分子）を求めます。

・Xの偏差平方和： (1-3)² + (2-3)² + (3-3)² + (4-3)² + (5-3)² = 4 + 1 + 0 + 1 + 4 = 10

・XとYの偏差の積の和： (1-3)(40-64) + (2-3)(50-64) + (3-3)(70-64) + (4-3)(70-64) + (5-3)(90-64) = (-2)(-24) + (-1)(-14) + 0 + (1)(6) + (2)(26) = 48 + 14 + 0 + 6 + 52 = 120

・傾き（回帰係数 β）： 120 / 10 = 12

・切片 α： Yの平均 - β × Xの平均 = 64 - 12 × 3 = 28

よって、推定された単回帰方程式は「Yの予測値 = 12 × X + 28」となります。

残差と決定係数（R²）の計算

回帰式の予測値と、実際の得点とのズレを評価します。

【予測値と残差 (e = 実績値 - 予測値)】 ・Aさん：予測値 40点、実績値 40点 → 残差 0点 ・Bさん：予測値 52点、実績値 50点 → 残差 -2点 ・Cさん：予測値 64点、実績値 70点 → 残差 +6点 ・Dさん：予測値 76点、実績値 70点 → 残差 -6点 ・Eさん：予測値 88点、実績値 90点 → 残差 +2点

残差の合計は「0 + (-2) + 6 + (-6) + 2 = 0」となり、最小二乗法（残差の和が0になる）の性質を美しく満たしています。

決定係数（R²）を求めるために、残差平方和（説明できない変動）と、Yの全平方和（全体の変動）を比較します。

・残差平方和： 0² + (-2)² + 6² + (-6)² + 2² = 0 + 4 + 36 + 36 + 4 = 80

・Yの全平方和： (40-64)² + (50-64)² + (70-64)² + (70-64)² + (90-64)² = (-24)² + (-14)² + 6² + 6² + 26² = 576 + 196 + 36 + 36 + 676 = 1520

・決定係数 (R²)： 1 - (残差平方和 / Yの全平方和) = 1 - (80 / 1520) = 18 / 19 ≒ 0.9474 (94.74%)

このモデルの決定係数は約94.7%であり、「テストの得点の変動の約95%は、1日の学習時間の長さの違いで説明できる」ことを意味し、非常に説明力の高いモデルであることがわかります。

回帰係数と相関係数の符号の数学的一致

単回帰分析において、回帰係数の符号（プラスかマイナスか）は、二変数間の相関係数の符号と数学的に必ず一致します。回帰係数の分子はXとYの共分散（偏差の積の和）であり、分母はXの偏差平方和（常に正）だからです。相関係数も共分散を分子とするため、両者の方向性は完全に一致します。検定問題で符号の整合性をチェックする際、この関係性は非常に役立ちます。