超幾何分布でおさえておきたいポイントとフィッシャーの直接確率検定【統計検定1級対策】

さて、今回は確率分布の話で見直していたら忘れかけていた超幾何分布の話を書こうと思います。

目次：

超幾何分布とは？
超幾何分布の総和が1となることの証明
超幾何分布の平均・分散の導出の概略
フィッシャーの直接確率検定(Fisher's exact test)について
カイ二乗検定との違い

超幾何分布とは？

超幾何分布は確率論で良く出てくる「箱から2種類のボールを取り出す問題」で出てくるボールの個数が従う分布です。例えばこんなシチュエーションです。

「ある箱には赤いボールがM個、白いボールがN-M個入っています。そこから全部でn個のボールを戻さずに取り出すとき、そのなかにある赤いボールの個数をx個とします。」

このxが従うのが超幾何分布となります。

式としては通常の確率論と同じで、分母に全てのボールの組み合わせである $_NC_n$ 、分子に $_MC_x・_{N-M}C_{n-x}$ を置いて

$P(X=x)=\frac{_MC_x・_{N-M}C_{n-x}}{_NC_n}$

となります。

これが何の役に立つかというと、臨床医学的には2×2分割表がこの状況に類似されます。

例えば、アスピリンの内服によって、脳梗塞の発症が抑えられるかどうかをみたランダム化試験があるとしましょう。すると2×2分割表は以下のように作られます。

f:id:medibook:20200910052722j:plain

この数値が帰無仮説＜脳梗塞の発症とアスピリンあり/なしが関連しない＞のもとでは、超幾何分布に従うので、超幾何分布の式から事象が起きる確率を計算することができます。

アスピリンあり/なしを先ほど例でいう赤いボールと白いボール、脳梗塞を発症した人を取り出したボールの数と考えれば超幾何分布に従うことは分かると思います。

これを使った応用例がフィッシャーの直接確率検定（後述）です。

また、ログランク検定もこの確率分布を使っています。以前に記事で書きました。

実際の論文から統計を学んでみる②-ログランク検定とは

超幾何分布の総和が1となることの証明

さて次に、超幾何分布が確率分布となること（総和が1となること）を確認しておきたいと思います。

これは二項定理を使うのですが、この証明と等式が分かっていれば、平均・分散の証明にも役立つので、ここがおさえておきたいポイントです。

まず超幾何分布において総和が1になるというのはこの式になります。

$1=\sum_{x=0}^n\frac{_MC_x・_{N-M}C_n-x}{_NC_n}$

変形すると

$_NC_n=\sum_{x=0}^n{_MC_x・_{N-M}C_{n-x}}$

この式が期待値・分散の導出においても役立ちます。

この式の証明は二項定理を用いて行います。

まずある実数a,bを用いて

$(a+b)^N=(a+b)^M(a+b)^{N-M}$ であり、二項定理を使うと

(二項定理について分からない場合は↓を参照）

二項定理の意味と２通りの証明 | 高校数学の美しい物語

$\sum_{k=0}^N{_NC_ka^kb^{N-k}}=\sum_{l=0}^M{_MC_l}a^lb^{M-l}\sum_{m=0}^{N-M}{_{N-M}C_m}a^mb^{N-M-m}$

となります。

ここで、展開した際に同じ係数を持つ者同士を比較するのがポイントとなります。

$a^nb^{N-n}$ の係数をもつものを左右で比較してみましょう。

すると（左辺）においては

$_NC_n$

となります。

次に（右辺）では前半のかたまりと後半のかたまりを掛け合わせて同じ $a^nb^{N-n}$ を創り出します。

$a^nb^{N-n}=a^xb^{M-x}・a^{n-x}b^{N-M-(n-x)}$ と分解すればよいので、係数は

$_MC_x・_{N-M}C_n-x$

となります。

さらに、 $a^nb^{N-n}$ を創り出せる組み合わせはx=0~Mまであるので係数は

$\sum_{x=0}^n{_MC_x}・_{N-M}C_{n-x}$

となります。

以上から

$_NC_n=\sum_{x=0}^n{_MC_x}・_{N-M}C_{n-x}$

を示すことができました。

超幾何分布の平均・分散の導出の概略

上記の式を用いれば平均と分散は導出していくことができます。

細かい変形まで書くのが少し面倒なので（すみません）、概略までにとどめます。

まず平均は定義に沿って

$\sum_{x=0}^nx\frac{_MC_x・_{N-M}C_n-x}{_NC_n}$

です。

手順を言葉にすると

①使わない $_NC_n$ をくくり出す

②和の記号のx=0をx=1に変える（後で活きてきます）

→結局はx=0だと0になるので同じ

③combinationを階乗に分解して、ｘをその中に組み込む

④あとはひたすら整理してcombinationに戻す

⑤x-1=yなどに置き換えて、ずらす（②の意味が出てきます）

⑥ $_{N-1}C_{n-1}=\sum_{y=0}^{n-1}{_{M-1}C_y}・_{N-M}C_{n-1-y}$ （総和の式の変形）を使う

と言う感じです。

③～④を端折りますが

$\frac{1}{_NC_n}\sum_{x=0}^nx{_MC_x}・_{N-M}C_n\\=\frac{1}{_NC_n}\sum_{x=1}^nx{_MC_x}・_{N-M}C_n\\=\frac{M}{_NC_n}\sum_{x=1}^n{_{M-1}C_{x-1}}・_{(N-1)-(M-1)}C_{n-x}\\=\frac{M}{_NC_n}\sum_{y=0}^{n-1}{_{M-1}C_y}・_{(N-1)-(M-1)}C_{n-1-y}\\=\frac{M_{N-1}C_{n-1}}{_NC_n}\\=\frac{nM}{N}$

となります。

分散についても全く同様の過程で導くことができます。

$E[X(X-1)]=\frac{1}{_NC_n}\sum_{x=0}^nx(x-1){_MC_x}・_{N-M}C_n$

を始めとしてあとは変形していくのみです。

分散の式 $V(X)=E(X^2)-\{E(X)\}^2$ を使って導出します。

フィッシャーの直接確率検定(Fisher's exact test)について

超幾何分布を応用した例としてフィッシャーの直接確率検定（またはフィッシャーの正確確率検定） を紹介します。

先ほど出てきた2×2分割表を利用するような場合に使われる検定方法です。

上述したように、2×2分割表で表のような数値になる確率は超幾何分布に従うことが分かります。ただし、これはその2×2の要素が互いに関連がないという帰無仮説のもとで従うことになります。ボールの例でいえば「赤いボール」と「白いボール」が出てくる確率は完全にランダムで、どちらが出やすいというのはないはずです。

ただ、超幾何分布で単純に出せるのは「その表のようなデータが出る確率のみ」ですので、帰無仮説がどうかを仮説検定するものではありません。

そこで、「得られた表のようなデータ」よりもさらに極端（確率的に起こりにくい）なデータの出る確率を全て足し合わせていきます。先ほどのアスピリンと脳梗塞の表で再度みてみましょう。

f:id:medibook:20200910052722j:plain

これよりも極端なデータというのは「アスピリンあり」が「脳梗塞あり」にさらに含まれないようになるデータのことを指します。2×2分割表の周辺和（下図赤枠）を固定とみなして、そのような極端なデータの確率を足し合わせます。

f:id:medibook:20200912062312j:plain

この足し合わせた確率が有意水準以下であれば、帰無仮説を棄却できます。

グラフでイメージするとこのような感じです。

f:id:medibook:20200912063239j:plain

確率の総和である赤が有意水準の確率と比べて大きいかどうかで仮説検定をします。

カイ二乗検定との違い

よく言われるのは、2×2分割表の際に同じ帰無仮説に対して使われるχ二乗検定との違いです。今回は細かい原理には触れませんが、内容は簡単に書いておこうと思います。

カイ二乗検定はあくまで、上に示した直接確率検定と違い、カイ二乗分布への近似を用いています。直接確率検定は”直接”の名前の通り、そのまま計算していますので、こちらのほうがより”正確”です。「集計表に10以下の数があればフィッシャーの直接確率検定」だなんて言われたりしますが、別に計算可能であれば、こっちのほうが確実なので、10以上でも良いと思われます。

こちらのサイトの生物統計基礎セミナーの＜仮説検定２＞の講座でもそのように言われています。登録すれば無料で講義を沢山みれるので、おすすめです。

ICR臨床研究入門

さらにカイ二乗検定の場合は、もともと離散型確率変数（整数しかとらない）である2×2分割表の内容を、連続型確率変数であるカイ二乗分布に変えている関係で、「イェーツの補正」と呼ばれる補正を掛けなければいけません。もとの数に近い形を保てるという意味ではやはりフィッシャーの直接確率検定のほうが良いでしょう。

かつては手計算で出していたので、数が多くなったらカイ二乗検定と言われる名残があるのだと思いますが、今やパソコンの計算能力は上がってますので可能ならフィッシャーの直接確率検定で間違いはないかと思っています。

参考文献：

ICR臨床研究入門

リンク