こんにちは
今回は「回帰係数の検定」について解説したいと思います。
回帰係数の検定
「【統計】回帰係数を推定してみた！！」で回帰係数の推定を行いました。
しかし所詮は「推定」なので、ここで導出した値にも誤差がつきます。
よって、回帰係数も検定を行い、「その値にどれくらい信頼がおけるか」ということを測っていきたいと思います。
検定内容
今回はポッポの体重\(X\)と身長\(Y\)の関係について検定していこうと思います。
20匹のポッポを捕らえたとき、ポッポの身長と体重には
$$
Y = X – 1.5 (\hat{\beta_1} = -1.5, \hat{\beta_2} = 1.0)
$$
という関係があったとします。
このとき\(\beta_2\)を\(\hat{\beta_2}\)の母回帰係数として、次のような仮説を考えます。
$$
\begin{cases}
H_0 : \beta_2 = 0.0\\
H_1 : \beta_2 \neq 0.0
\end{cases}
$$
つまり、\(H_0\)が正しかった場合、「ポッポの大きさ(身長)は重さ(体重)で説明できない(もし、\(H_0:\beta_2 = 0.0\)なら、\(Y = \beta_1\)だからです。)」といえます。
なのでこの検定は「ポッポの大きさとその重さには関係があるのか(それとも無関係なのか)？」という仮説を検証するものになっています。
これを有意度0.1%(\(\alpha = 0.001\))で検定します。
t分布による検定
今回もt分布による検定を行います。
そのためにはt値を計算する必要があります。
\(\hat{\beta_2}\)のt値は
$$
t = \frac{\hat{\beta_2} – E(\hat{\beta_2})}{\sqrt{V(\hat{\beta_2})}}
$$
です(t値の求め方は「【統計】t分布について解説してみた！！」を参照)。
\(E(\hat{\beta_2}), V(\hat{\beta_2})\)は少し面倒ですが、計算すると
$$
\begin{cases}
E(\hat{\beta_2}) = \beta_2\\
V(\hat{\beta_2}) = \frac{\sigma^2}{\sum (X_i – \bar{X})^2}
\end{cases}
$$
となります。証明はしません(ググろう)。
ただし、\(\sigma^2\)は誤差\(\epsilon_i = Y_i – \beta_1 – \beta_2 X_i\)の分散ですが、これは今わかりませんので、\(\sigma^2 \to s^2 \)と不偏分散のようなものに置き換えます。
\(s^2\)は回帰残差\(\hat{e_i} = Y_i – \hat{\beta_1} – \hat{\beta_2}X_i\)の分散です。
$$
s^2 = \frac{\sum \hat{e_i}^2}{(n-2)}
$$
と書けます。よって、
$$
s = \sqrt{\frac{\sum \hat{e_i}^2}{(n-2)}}
$$
となり、これを\(\sigma^2\)と入れ替えます。
t値
ここまでを整理してt値を求めると
$$
\begin{eqnarray}
t &=& \frac{\hat{\beta_2} – E(\hat{\beta_2})}{\sqrt{V(\hat{\beta_2})}}\\
&=& \frac{\hat{\beta_2} – \beta_2}{\sqrt{\frac{\sigma^2}{\sum (X_i – \bar{X})^2}}}\\
&\to & \frac{\hat{\beta_2} – \beta_2}{\sqrt{\frac{s^2}{\sum (X_i – \bar{X})^2}}} (\sigma^2 \to s^2)
\end{eqnarray}
$$
となります。
今、\(\beta_2 = 0.0, \hat{\beta_2} = 1.0\)です。
さらに\(\sqrt{\frac{s^2}{\sum (X_i – \bar{X})^2}} = \frac{1}{30}\)という結果が得られたとするとt値は
$$
t = \frac{1.0 – 0.0}{1/30} = 30
$$
となります。かなり大きな数字ですね。
有意度\(\alpha = 0.001\)のt値\(t_{0.001}\)を見てみると
$$
t_{0.001} = 3.883
$$
とわかりました。
よって、
$$
t > t_{0.001}
$$
なので、帰無仮説\(H_0 : \beta_2 = 0.0\)は棄却されます。
つまり、「ポッポの体重と身長には関係がある」といえそうです。
