脳内ライブラリアン

脳内ライブラリアン

医療、統計、哲学、育児・教育、音楽など、学んだことを深めて還元するために。

MENU

スコア関数～フィッシャー情報量～クラメール・ラオの下限を復習【統計検定1級対策】

統計

さて、今日も今日とて統計学の勉強を続けています。

 

今回は前回記事で使った問題をネタにクラメール・ラオの下限を求める小問をやろうと思ったのですが、、「解答がおかしい・・・。」ということに気づいたので（自分のミスかもしれませんが）愛用の「現代数理統計学の基礎」の練習問題で説明します。

 

不偏推定量、スコア関数、フィッシャー情報量、クラメール・ラオの下限について基本的な事を練習問題を通じて学びます。スコア関数～クラメール・ラオの下限（もしくはクラメール・ラオの限界またはクラメール・ラオの不等式）はつながってくるので、順番にまとめてみます。

 

ネタにする練習問題はこれ。

X_1,..., X_n, i.i.d. ~N(0,\theta)に従うとする。（中略）次の問いに答えよ。

(1)\thetaのフィッシャー情報量I_n(\theta)を求めよ。また\thetaの不偏推定量の分散の下限に関するクラメール・ラオ不等式を与えよ。（現代数理統計学の基礎 p.142より）

 

(1)に関連しない条件は略しました。

初めに確率密度関数からスコア関数、フィッシャー情報量、クラメール・ラオの下限の関係を図でまとめておきます。

 

f:id:medibook:20200612053201p:plain

 

順に具体的にみていきましょう。

 

 

 

スコア関数

問題はフィッシャー情報量を求めるものですが、そのためにはまず、スコア関数が必要です。

 

スコア関数は今回の問題のように、あるサンプルX_1,... ,X_nが得られたとき、そのサンプルが得られる確率密度関数をすべて掛け合わせた同時確率密度関数（尤度関数と言っても良いかもしれないです）を求め、その対数をとってパラメータで微分したものです。

 

具体的にみてみますと、まずサンプルX_iが得られる確率密度関数は、N(0,θ)に従うので

 

\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{{x_i}^2}{2\theta}}

 

となります。それぞれのサンプルは互いに独立なため、同時確率密度関数を求めるにはすべて掛け合わせるだけでOKです。なので同時確率密度関数は

 

\frac{1}{(\sqrt{2\pi\theta})^n}exp\{\sum_{i=1}^n{-\frac{{x_i}^2}{2\theta}}\}

 

対数をとると

-\frac{n}{2}log(2\pi\theta)+\sum_{i=1}^n{-\frac{{x_i}^2}{2\theta}}

これは対数尤度関数と一緒ですね。

 

これをパラメータθで微分すればスコア関数となるので

-\frac{n}{\theta}+\sum_{i=1}^n{\frac{{x_i}^2}{2\theta^2}}

 

となります。

 

フィッシャー情報量

フィッシャー情報量はスコア関数の2乗の期待値をとったものです。ただ、問題なのはこれが結構計算しにくい場合があること。

 

今回の問題でみると

-\frac{n}{\theta}+\sum_{i=1}^n{\frac{{x_i}^2}{2\theta^2}}

↑これを2乗して期待値をとるのはきついです。 

 

そこで最初の図にあった右側の迂回路を使います。（証明は省略）

 

f:id:medibook:20200612053201p:plain

 

上述した1個の確率密度関数を使います。

\frac{1}{\sqrt{2\pi\theta}}e^{-\frac{{x_i}^2}{2\theta}}

これの対数をとってからパラメータθで2回微分します。

 

まず対数をとると

-\frac{1}{2}log(2\pi\theta)-\frac{{x_i}^2}{2\theta}\\=-\frac{1}{2}log(2\pi)-\frac{1}{2}log(\theta)-\frac{{x_i}^2}{2\theta}

 

これを2回微分して

\frac{1}{2\theta^2}-\frac{x_i^2}{\theta^3}

となります。

 

これの期待値をとってマイナスをかけると1個のデータによるフィッシャー情報量が求められます。

 

第1項はｘを含まないのでそのまま、第2項はE[{X_i}^2]=\theta（期待値E[X_i]=0なので分散に等しくなる）となるので

 

-\frac{1}{2\theta^2}+\frac{\theta}{\theta^3}\\=\frac{1}{2\theta^2}

 

これにnをかけた\frac{n}{2\theta^2}が求めたいフィッシャー情報量です。

 

クラメール・ラオの下限

ようやくたどり着いてきましたが、あとは簡単です。

 

先ほど求めたフィッシャー情報量の逆数をとればクラメール・ラオの下限が求められます。これは不偏推定量の質を評価するためのものです。

 

不偏推定量は定義に従うと、「ある推定量\hat\thetaの期待値をとったときにパラメータθと一致するもの」のことでした。

 

ただ、このような不偏推定量は複数得られるため、どれがより良いのか分かりません。そこで、この推定量の分散をとったときに最も小さくなる（＝ばらつきが小さい）ものが良いと思われます。分散が小さいかどうかを確認するときに使われるのが、最も小さい分散を算出できるクラメール・ラオの下限です。

 

今回の問題でいえば

\frac{2\theta^2}{n}
が求めたい下限になります。

 

単純に算出するだけの問題なら簡単ですね。

 

現代数理統計学の基礎 (共立講座 数学の魅力)

現代数理統計学の基礎 (共立講座 数学の魅力)