【統計】回帰係数の検定について解説してみた!!

統計

こんにちは

今回は「回帰係数の検定」について解説したいと思います。

スポンサーリンク

回帰係数の検定

【統計】回帰係数を推定してみた!!」で回帰係数の推定を行いました。

しかし所詮は「推定」なので、ここで導出した値にも誤差がつきます。

よって、回帰係数も検定を行い、「その値にどれくらい信頼がおけるか」ということを測っていきたいと思います。

検定内容

今回はポッポの体重\(X\)と身長\(Y\)の関係について検定していこうと思います。

20匹のポッポを捕らえたとき、ポッポの身長と体重には

$$
Y = X – 1.5 (\hat{\beta_1} = -1.5, \hat{\beta_2} = 1.0)
$$

という関係があったとします。

このとき\(\beta_2\)を\(\hat{\beta_2}\)の母回帰係数として、次のような仮説を考えます。

$$
\begin{cases}
H_0 : \beta_2 = 0.0\\
H_1 : \beta_2 \neq 0.0
\end{cases}
$$

つまり、\(H_0\)が正しかった場合、「ポッポの大きさ(身長)は重さ(体重)で説明できない(もし、\(H_0:\beta_2 = 0.0\)なら、\(Y = \beta_1\)だからです。)」といえます。

なのでこの検定は「ポッポの大きさとその重さには関係があるのか(それとも無関係なのか)?」という仮説を検証するものになっています。

これを有意度0.1%(\(\alpha = 0.001\))で検定します。

t分布による検定

今回もt分布による検定を行います。

そのためにはt値を計算する必要があります。

\(\hat{\beta_2}\)のt値は

$$
t = \frac{\hat{\beta_2} – E(\hat{\beta_2})}{\sqrt{V(\hat{\beta_2})}}
$$

です(t値の求め方は「【統計】t分布について解説してみた!!」を参照)。

\(E(\hat{\beta_2}), V(\hat{\beta_2})\)は少し面倒ですが、計算すると

$$
\begin{cases}
E(\hat{\beta_2}) = \beta_2\\
V(\hat{\beta_2}) = \frac{\sigma^2}{\sum (X_i – \bar{X})^2}
\end{cases}
$$

となります。証明はしません(ググろう)。

ただし、\(\sigma^2\)は誤差\(\epsilon_i = Y_i – \beta_1 – \beta_2 X_i\)の分散ですが、これは今わかりませんので、\(\sigma^2 \to s^2 \)と不偏分散のようなものに置き換えます。

\(s^2\)は回帰残差\(\hat{e_i} = Y_i – \hat{\beta_1} – \hat{\beta_2}X_i\)の分散です。

$$
s^2 = \frac{\sum \hat{e_i}^2}{(n-2)}
$$

と書けます。よって、

$$
s = \sqrt{\frac{\sum \hat{e_i}^2}{(n-2)}}
$$

となり、これを\(\sigma^2\)と入れ替えます。

t値

ここまでを整理してt値を求めると

$$
\begin{eqnarray}
t &=& \frac{\hat{\beta_2} – E(\hat{\beta_2})}{\sqrt{V(\hat{\beta_2})}}\\
&=& \frac{\hat{\beta_2} – \beta_2}{\sqrt{\frac{\sigma^2}{\sum (X_i – \bar{X})^2}}}\\
&\to & \frac{\hat{\beta_2} – \beta_2}{\sqrt{\frac{s^2}{\sum (X_i – \bar{X})^2}}} (\sigma^2 \to s^2)
\end{eqnarray}
$$

となります。

今、\(\beta_2 = 0.0, \hat{\beta_2} = 1.0\)です。

さらに\(\sqrt{\frac{s^2}{\sum (X_i – \bar{X})^2}} = \frac{1}{30}\)という結果が得られたとするとt値は

$$
t = \frac{1.0 – 0.0}{1/30} = 30
$$

となります。かなり大きな数字ですね。

有意度\(\alpha = 0.001\)のt値\(t_{0.001}\)を見てみると

$$
t_{0.001} = 3.883
$$

とわかりました。

よって、

$$
t > t_{0.001}
$$

なので、帰無仮説\(H_0 : \beta_2 = 0.0\)は棄却されます。

つまり、「ポッポの体重と身長には関係がある」といえそうです。

タイトルとURLをコピーしました