脳内ライブラリアン

脳内ライブラリアン

医療、統計、哲学、育児・教育、音楽など、学んだことを深めて還元するために。

MENU

現代数理統計学の基礎　6章　問13-2

統計

(2)の問題。

(1)で求めたθの最尤推定量を求めて

平均と分散を求めていく問題。

 

最尤推定量はさほど難しくはなくて

対数尤度関数＝０をおいて導出します。

 

まず同時確率密度関数から。

 

f_n(x|\theta)=\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{x_1^2}{2\theta}}・\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{x_2^2}{2\theta}}...\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{x_n^2}{2\theta}}

 

対数尤度関数にすると

 

-nlog\sqrt{2\pi\theta}-\sum_{i=1}^n\frac{x_i^2}{2\theta}\\=-\frac{n}{2}log\theta-\frac{n}{2}log2\pi-\sum_{i=1}^n\frac{x_i^2}{2\theta}

 

θで微分して=0とすると

 

-\frac{n}{2\theta}+\sum_{i=1}^n\frac{x_i^2}{2\theta^2}=0

よって

\hat\theta^{ML}=\frac{\sum_{i=1}^n{x_i^2}}{n}

 

最尤推定量は無事求まったので

ここから平均と分散を求めていきます。

 

平均は

E[\hat\theta^{ML}]=E[\sum_{i=1}^n\frac{x_i^2}{n}]=\frac{1}{n}E[\sum_{i=1}^n{x_i^2}]\\=\frac{1}{n}・nE[x_1^2]\\=\theta

 

大変なのは分散です。

 

Var(\hat\theta^{ML})=\frac{1}{n^2}nVar(\hat\theta^{ML})\\=\frac{1}{n}Var(x_1^2)

 

とここまではいいんですが

Var(x_1^2)

を求めないといけません。

 

Var(x^2)=E[x^4]-(E[x^2])^2

を利用して求めます。

 

4次モーメントなので

モーメント母関数でごり押しで出します笑

 

復習がてら正規分布の場合の

モーメント母関数から出していきます。

 

今回はN(0, θ)の正規分布なので

M(t)=E[e^{tx}]\\=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\theta}}exp(-\frac{x^2}{2\theta})exp(tx)dx\\=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\theta}}exp\{-\frac{1}{2\theta}(x-\theta t)^2)\}exp(\frac{\theta t^2}{2})dx\\=exp(\frac{\theta}{2}t^2)

 

4次のモーメントを求めるので

4回微分して0を代入すれば

E[x^4]が出てきます

 

あとの微分は気合ですが、実際やろうとしたときも

計算ミスしました。地味に面倒です。

 

M'(t)=\theta texp(\frac{\theta}{2}t^2)...

(以下3回微分)

M''''(0)=3\theta^2

 

よって求めたい分散は

 

\frac{1}{n}Var(x_1^2)=\frac{1}{n}\{E[x_1^4]-(E[x_1^2])^2\}\\=\frac{1}{n}(3\theta^2-\theta^2)=\frac{2\theta^2}{n}

 

となります。