最尤推定の具体例(統計検定2級 S5.2)

このページはプロモーション(広告)を含みます。

補足資料の解説記事

最尤推定は「手元のデータが最も起こりやすくなるような母数の値」を推定値に選ぶ方法です。どの分布でも「尤度を書く → 対数をとる → 微分して0」という同じ手順で推定量が得られます。

手順
① 尤度関数 $L(\theta)=\prod_{i=1}^n f(x_i;\theta)$(データを固定し、母数の関数とみる)
② 対数尤度 $\ell(\theta)=\log L(\theta)=\sum\log f(x_i;\theta)$
③ $\dfrac{d\ell}{d\theta}=0$ を解いた $\hat\theta$ が最尤推定量
なぜ対数をとるのか
独立なデータの確率は積になりますが、積の微分は面倒です。対数は増加関数なので最大になる位置は変わらず、積が和に変わって微分が簡単になります。

例1:成功確率(ベルヌーイ)

10回の試行で成功3回。$L(p)=p^3(1-p)^7$、$\ell(p)=3\log p+7\log(1-p)$。 $$\frac{d\ell}{dp}=\frac3p-\frac7{1-p}=0\ \Rightarrow\ \hat p=\frac{3}{10}=0.3$$ 一般に $\hat p=x/n$(標本比率)です。

例2:ポアソン分布

1日の件数が $2,0,3,1,4$。$f(x;\lambda)=e^{-\lambda}\lambda^x/x!$ より $$\ell(\lambda)=-n\lambda+\Big(\sum x_i\Big)\log\lambda-\sum\log x_i!,\qquad \frac{d\ell}{d\lambda}=-n+\frac{\sum x_i}{\lambda}=0$$ よって $\hat\lambda=\bar x=10/5=2$。

よく出る最尤推定量

分布母数最尤推定量不偏か
ベルヌーイ・二項$p$$\hat p=x/n$○
ポアソン$\lambda$$\bar x$○
正規$\mu$$\bar x$○
正規$\sigma^2$$\frac1n\sum(x_i-\bar x)^2$×($n$ 割り)
指数(平均 $1/\lambda$)$\lambda$$1/\bar x$×

不変性

$\theta$ の最尤推定量が $\hat\theta$ なら、$g(\theta)$ の最尤推定量は $g(\hat\theta)$ です。例2で「1日に0件である確率」$P(X=0)=e^{-\lambda}$ の最尤推定値は $e^{-2}\approx0.135$。

ひっかけ
・尤度は母数の「確率」ではありません。$L(p)$ を $p$ について積分しても1にはならず、比べられるのは大小関係だけです。
・「最尤推定量は不偏」は誤り。正規分布の分散や指数分布の $\lambda$ は偏りを持ちます(ただし $n$ が大きければ一致性をもつ)。
・$\log x_i!$ のように母数を含まない項は微分すると消えるので、計算で持ち回る必要はありません。
得点のコツ
選択肢の問題なら、結果の表(比率は $x/n$、ポアソン・正規の平均は $\bar x$、正規の分散は $n$ 割り)を覚えておけば即答できます。計算問題では、対数尤度を「母数を含む項だけ」に整理してから微分すると間違いが減ります。推定量の性質の比較は「点推定と推定量の望ましい性質」の記事を参照してください。

統計検定2級 合格ナビ:統計検定2級の問題集アプリ。本番と同じ5択・数値表と電卓で解くオリジナル問題173問と、35問90分の模擬試験。解説記事・公式集・数値表と第1・2章の問題は登録なしで無料。全問は1,480円の買い切り。

アプリを無料で開く有料版と無料版の違い