脳内ライブラリアン

脳内ライブラリアン

医療、統計、哲学、育児・教育、音楽など、学んだことを深めて還元するために。

MENU

不偏分散の期待値と分散【統計検定1級対策】

統計

2014年、2018年の統計数理でいずれも出題されており、重要なポイントではあると思われる不偏分散の期待値と分散の導出などを書きます。

 

目次：

 

不偏分散の期待値

まず前提として平均\mu、分散\sigma^2の分布をもつ確率変数Xから得られたn個のデータをX_1, X_2, ...,X_nとして標本平均を\frac{1}{n}\sum X_i=\bar Xとします。

 

不偏分散(あるいは標本分散とも)はS^2=\frac{1}{n-1}\sum(X_i-\bar X)^2と表されます。

 

では最初に不偏分散の期待値が母分散に一致することを確かめます。

 

 E[S^2]=\frac{1}{n-1}E[\sum(X_i-\bar X)^2]\\=\frac{1}{n-1}E[\sum(X_i-\mu)^2-\sum(\mu-\bar X)^2]

この期待値内の[ ]の変形はよく使われるので覚えておいた方が良いかもしれません。展開してみると一致することが分かります。

 

続いて変形していくと

\frac{1}{n-1}E[\sum(X_i-\mu)^2-\sum(\mu-\bar X)^2]\\=\frac{1}{n-1}E[\sum(X_i-\mu)^2]-\frac{n}{n-1}E[(\mu-\bar X)^2]

 

さてここで

E[\sum(X_i-\mu)^2]=n\sigma^2

E[(\mu-\bar X)^2]=\frac{\sigma^2}{n}（標本平均の分散を表すため）

となりますので、それぞれ代入して

(与式)=\frac{n}{n-1}\sigma^2-\frac{1}{n-1}\sigma^2\\=\sigma^2

となりました。

 

不偏分散の分散

さて、続いて不偏分散の分散を求めてみます。

 

直接求めるのはなかなか大変なので、既に確立された定理などを用います。

 

例えば不偏分散と母分散の関係はカイ二乗分布で表されることに着目してみます。

\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}

でした。

 

この点については過去に一度記事を書きました。

medibook.hatenablog.com

 

 

よって自由度n-1のカイ二乗分布の分散は2(n-1)なので

V(S^2)=V(\frac{\sigma^2}{n-1}\frac{(n-1)S^2}{\sigma^2})\\=\frac{\sigma^4}{(n-1)^2}2(n-1)\\=\frac{2\sigma^4}{n-1}

となります。

 

コクランの定理の考えに沿って、不偏分散がカイ二乗分布に従うことを示す方法もあります。

http://wwwa.pikara.ne.jp/yoshifumi/Statistics/Statistics-6.pdf

Cochran's theorem - Wikipedia

この辺が参考になります。どちらも例としてこの不偏分散の話が使われています。

 

期待値のところでもあったように

\frac{\sum(X_i-\bar X)^2}{\sigma^2}=\frac{\sum(X_i-\mu)^2}{\sigma^2}-\frac{\sum(\mu-\bar X)^2}{\sigma^2}\\\frac{\sum(X_i-\bar X)^2}{\sigma^2}+\frac{\sum(\mu-\bar X)^2}{\sigma^2}=\frac{\sum(X_i-\mu)^2}{\sigma^2}

と変形できますが、コクランの定理によれば

\frac{\sum(X_i-\bar X)^2}{\sigma^2}\sim\chi_{n-1}^2\\\frac{\sum(\mu-\bar X)^2}{\sigma^2}\sim\chi_{1}^2\\\frac{\sum(X_i-\mu)^2}{\sigma^2}\sim\chi_{n}^2

が成立します。

 

あとは上述した方法と同じですね。

 

不偏分散の一致性

こちらも以前出題されていたので、不偏分散が母分散に対して一致性を持つことをみてみようと思います。

 

確率収束についてみるにはチェビシェフの不等式を使うのがよくある方法です。

 

チェビシェフの不等式の導出はこちらで記事にしました。  

medibook.hatenablog.com

 

実際、不偏分散についてチェビシェフの不等式に当てはめてみると、任意のk>0に対して

P(|S^2-\sigma^2|)=\frac{V(S^2)}{k^2}\\=\frac{2\sigma^4}{k^2(n-1)}

となります。

 

n→∞のとき右辺は0となるため、不偏分散S^2は母分散\sigma^2に一致性を持ちます。

 

不偏分散の性質はこのようにちょっと工夫が必要で他の定理が絡む点が多く、問題が作りやすいのかもしれませんね。