【統計】最尤推定(離散)について解説してみた！！

こんにちは

今回は「最尤推定(離散の場合)」について解説したいと思います。

最尤推定(離散の場合)

イカサマコイン

例えばコインを投げたときに10回中9回表が出るという、とんでもないイカサマコインがあるとします。

普通に考えて、あなたはコインの表が出る確率が\(\frac{9}{10}\)である、と推定すると思います。

しかし、コインメーカーの担当者は「いやいや、このコインの表の出る確率は\(\frac{1}{2}\)ですよ」と言っています。

「いや、そんなわけねーだろ10回中9回表出てんだぞ」と思うかもしれませんが、コインメーカーも譲りません。

では、表が出る確率の推定値として\(\frac{9}{10}, \frac{1}{2}\)、どちらの方がよいでしょうか？筋が通っている(もっともらしい)でしょうか？

そこを判断するために最尤推定を行います。

最尤推定の方法

最尤推定では「現実に発生した状態 = 一番発生する確率が高い状態」と考えます(なぜならそれが最も自然で「もっともらしい」からです)。

つまり、逆に言えば「一番発生する確率が高い状態 = 現実に発生する(だろう)状態」と推定してもよいということです。

これを数式で表すと

$$
\begin{cases}
表が出る確率がp_1=\frac{9}{10}のときに「10回中9回表が出る」という事象が起きる確率L(p_1)\\
表が出る確率がp_2=\frac{1}{2}のときに「10回中9回表が出る」という事象が起きる確率L(p_2)
\end{cases}
$$

を比較し、「10回中9回表が出る」確率が大きい方(一番確率が高い状態)を、表が出る確率(現実の状態)の推定値として採用します。

つまり、\(L(p_1) > L(p_2)\)なら\(p_1\)を\(L(p_2) > L(p_1)\)なら\(p_2\)を表の出る推定値とします。

計算

では計算してみましょう。

表が出る確率が\(p_1=\frac{9}{10}\)のときに「10回中9回表が出る」という事象が起きる確率\(L(p_1)\)は

$$
L(p_1) = {}_{10}C_9 \left(\frac{9}{10}\right)^9\left(\frac{1}{10}\right) = 0.39
$$

一方、表が出る確率が\(p_2=\frac{1}{2}\)のときに「10回中9回表が出る」という事象が起きる確率\(L(p_2)\)は

$$
L(p_2) = {}_{10}C_9 \left(\frac{1}{2}\right)^9\left(\frac{1}{2}\right) = 0.01
$$

となります。

よって\(L(p_1) > L(p_2)\)なので、\(p_1 = \frac{9}{10}\)の方が推定量としてふさわしいということになります。

最尤関数の最大値

\(p_2 = \frac{1}{2}\)よりも\(p_1 = \frac{9}{10}\)の方が推定量として適していることはわかりましたが、「他の値(例えば、\(\frac{9.1}{10}\)とか\(\frac{9.00001}{10}\)とか)の方が推定量としてより適切ではないのか？」という疑問が残ります。

そのような値を全て調べていてはキリがありません。

そこで、\(L(p)\)の最大値を求めることにします。そうすることで、推定量(\(L(p)\)が最大値を取る値)を一つに決めることができます。

\(L(p)\)を微分すると

\begin{eqnarray}
\frac{dL}{dp} &=& \frac{d}{dp}\left({}_{10}C_{9}p^9(1-p)\right)\\
&=& {}_{10}C_{9}\times\left(9p^8(1-p) – p^9\right)\\
&=& 9p^8 \left(9 – 10p\right)\\
\end{eqnarray}

よって\(\frac{dL}{dp} = 0\)となる値(\(L(p)\)の最大値を取る値)は\(p = \frac{9}{10}\)と求められました。

よって、「10回中9回表が出る」という事象が起きたとき、表が出る確率\(p\)の推定量は\(\hat{p} = \frac{9}{10}\)と結論付けられます。

連続的な最尤関数

もっともらしさを表す関数\(L(p)\)を最尤関数と呼びます。

最尤関数は上で見たような離散的なものだけでなく、連続的なものに対しても定義することができます。

連続的な場合は次回やりたいと思います。