散布図の点の配列をフィッティング(近似)する直線を回帰直線という.
散布図の各点をP$_i(x_i,\ y_i)\ (i=1,\ 2,\ ･･･,\ n)$とする.
点P$_i$と直線$y=ax+b$上の$x$座標$x_i$の点Q$_i$との誤差(距離)は$y_i-(ax_i+b)}$である.
平均点$( x,\ y)$を通り,\ この誤差の和が最小となる直線を回帰直線とするのが合理的である.
しかし,\ 絶対値は非常に扱いづらい.
そこで,\ 平均点$( x,\ y)}$を通り,\ 誤差の2乗の和が最小となる直線を回帰直線と定める.
結局,\ 回帰直線を求めることは,\ 以下の式を最小にする$a,\ b$を求めることに帰着する.
$\{y_1-(ax_1+b)\}^2+\{y_2-(ax_2+b)\}^2+･･････+\{y_n-(ax_n+b)\}^2}$}
このような手法を最小二乗法という.$x_i,\ y_i,\ x,\ y$は定数なので所詮は$a$の2次関数}\,]}
ここで,\ $x,\ y$の分散をそれぞれ${s_x}^2,\ {s_y}^2$,\ \ $x$と$y$の共分散を$s_{xy}$とすると誤差の2乗の和は,\ $a=s_{xy{{s_x}^2$のとき最小をとる. 回帰直線を$y=ax+b$とすると 次の表は,\ 5人の高校生の身長$x$\,[cm]と体重$y$\,[kg]を調べたデータである. 身長180cmの高校生の体重を回帰直線を用いて推定せよ.
$x,\ y$の相関係数を$r$を用いて,\ 回帰直線が$y- y}{s_y}=r･x- x}{s_x}$で表せることを示せ.回帰直線は$y=0.8x-68.2$}であるから $x=180$\,[cm]のとき $y=75.8}$\,[kg]
