こんにちは
今回は「最尤推定(連続の場合)」について解説したいと思います。
「【統計】最尤推定(離散)について解説してみた！！」の続きとなっているので、こちらを先に見るとより分かりやすいと思います。
最尤推定(連続の場合)
最尤推定は
- 最尤関数\(L(\theta)\)というものを考える
- \(L(\theta)\)が最大値を取る値\(\hat{\theta}\)を母数\(\theta\)の推定値として用いる
として行うものでした。
最尤関数
離散
いままで、離散的な値(コインやサイコロのように表,裏・1,2,…,6と、とびとびの値をとるもの)の最尤関数を考えてきましたが、今回は連続的な値(時間や体重など切れ目のない値をとるもの)の最尤関数を考えていきたいと思います。
離散の場合、最尤関数は「その事象が起こる確率」です。
例えば、「コインで10回中9回表が出る」という事象が起きる確率\(L(p)\)は、その(イカサマ)コインの表が出る確率を\(p\)として
$$
\begin{eqnarray}
L(p) &=& {}_{10}C_9 p^9\left(1-p\right)\\
\end{eqnarray}
$$
としていました。
連続
一方、連続な事象では、\(p\)のような確率(離散的な事象が起きる確率)を求めることができません。
よって、\(p\)の代わりに確率密度関数を考えます。
そして最尤関数を確率密度関数の積
$$
L(\theta) = f(x_1,\theta)f(x_2,\theta)\cdots f(x_n,\theta) (x_1,\cdots,x_nは独立)
$$
で与えます。ただし、\(x_i:i番目の標本, f(x_i):i番目の標本が従う確率密度関数, \theta:推定したい母数\)です。
なので、確率密度関数(分布の形)が分かっていれば、推定を行うことができます。
式の意味
この式は、「\(n\)個の事象が(同時に)起きる確率密度関数」を意味しています。
「確率密度関数」といわれると少しイメージがつきにくいので、自分の解釈を書いていきたいと思います。
例えば二つの事象で考えると、\(L(\theta)\)は
$$
L(\theta) = f(x_1, \theta)f(x_2, \theta)
$$
となります。
これらが同じ正規分布に従えば、\(L(\theta)\)の形は
のようになります。
事象の起こる確率\(L(\theta)\)(赤)が中央付近(\(x_1, x_2\)の平均が交わるところ)で最大になっていることが分かります。(体重なら、どのように体重が分布しているか)
誤解を恐れずに言えば、「\(確率密度関数/分布 \to どこで事象が起こりやすいかをグラフ化したもの\)」です。
なので、確率密度関数を掛け算した値\(L(\theta)\)も「どこで(二つの事象が同時に)起こりやすいか」を示していると言えます。
例題(ポッポ)
簡単のためにポッポの例を考えてみましょう。
ポッポを10匹捕まえ体重を測定し、母平均\(\mu\)を推定します。
ポッポの体重はすべて正規分布(ポッポの体重がどんな分布に従っているかはわかっているとします)に従うとき、
$$
L(\theta) = \left(\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\bar{x})^2}{2\sigma^2}\right)\right)^{10}
$$
となります。
後はこれを微分すればいいですが、とても面倒なので、対数をとり計算を行います。(対数をとっても最大値は変わらない)
\begin{eqnarray}
\log L(x) &=& 10\log \left(\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\bar{x})^2}{2\sigma^2}\right)\right)\\
&=& 10 \left(\log\left(\frac{1}{\sqrt{2\pi}\sigma}\right) – \frac{(x-\bar{x})^2}{2\sigma^2}\right)
\end{eqnarray}
なので
$$
\frac{d}{dx}\log L(x) = -10\frac{(x – \bar{x})}{\sigma} = 0
$$
より、\(x = \bar{x}\)となります。
よって、母平均\(\mu\)の推定量は、(ポッポの体重が従う正規分布の)平均\(\bar{x}\)となります。
