Fisherの正確確率検定：カイ二乗検定とどちらを使うか

「実際上ほとんど使うべきではない」。2×2表の検定の研究をまとめた論文は、従来のFisher（フィッシャー）の正確確率検定をこう評しています⁠^[1]。近似の式を使わずにp値を求めるので「正確」と呼ばれる検定が、なぜこう評価されるのでしょうか。

ある病棟で転倒予防の新しい取り組みを試したとき、取り組みをした病棟では10人中1人、しなかった病棟では10人中6人が転倒しました。差はありそうに見えます。しかし、統計ソフトでカイ二乗検定を行うと、期待度数が5未満のセルがあるという注意が出ました。こういうときはFisherの正確確率検定を使う、と教わった人は多いでしょう。結果はp＝0.057で、有意ではありません。同じ表を、連続修正をしないPearson（ピアソン）のカイ二乗検定で調べるとp＝0.019です。この表には、カイ二乗検定とFisherの正確確率検定のどちらを使うべきでしょうか。

この記事の要約（押すと開閉します）

• 定義：2×2のクロス集計表で、2つの変数のあいだに関連があるかを調べる検定。比べる群が互いに独立していることが前提。Fisher–Irwin検定とも呼ばれ、SPSSでは「Fisherの直接法」と表示される
• 生まれた経緯：1925年にFisherは、期待度数が5を下回らないようにする目安を示した。1934年にYatesは、Fisherが示した、行と列の合計を固定した正確な確率を基準に、カイ二乗検定の近似を調べた。1935年にはIrwinも同じ検定を論文で示し、Fisherは合計を固定してよい理由を示した。1945年には、列の合計を固定しない検定も示された
• 求め方：行と列の合計を固定したまま、起こりうる表の確率をすべて求め、実際の表と同じか、それより起こりにくい表の確率を足して両側のp値にする。近似の式を使わないので「正確」と呼ばれる
• 限界：「正確」は、誤って有意と判定する確率がちょうど5%になるという意味ではない。とりうるp値が飛び飛びになるので、人数が少ないと、本当は差がなくても有意になる割合が5%よりかなり小さく、本当の差も見つけにくい
• 使う場面：従来の目安は、期待度数が5未満のセルがあれば、カイ二乗検定ではなくFisherの正確確率検定を使うこと。Cochran自身は、5という数を任意に選んだと述べていた
• 代わる方法：2×2表の両側検定を比べた研究は、いちばん小さい期待度数が1以上なら「N−1」カイ二乗検定、1未満ならFisherの検定を勧めている。従来のFisherの正確確率検定の代わりに、mid-p値か無条件検定を使うよう勧める論文もある。期待度数が1未満の表では、2つの勧めが分かれる。どの方法を使うかは、データを見る前に決める
• 結果の書き方：各群の割合と差を95%信頼区間とともに示し、使った検定の名前とp値を書く。有意でないことは、差がないことの証拠ではない

Fisherの正確確率検定とは

Fisherの正確確率検定（Fisher's exact test）は、2×2のクロス集計表で、2つの変数のあいだに関連があるかを調べる検定です。取り組みの有無と転倒の有無のように、2つの区分からなる変数を2つ組み合わせた表に使います。SPSSでは「Fisherの直接法」と表示され、2×2表のときに、カイ二乗検定とあわせて結果が出力されます⁠^[2]。

比べる群が互いに独立していることが、この検定の前提です⁠^[2]。同じ人を2回数えるようなデータには使えません。

Fisherの正確確率検定は、期待度数が小さいときに、カイ二乗検定の代わりに使われてきました⁠^[2]。Fisher–Irwin（フィッシャー・アーウィン）検定とも呼ばれます⁠^[3]。

Fisherの正確確率検定が生まれるまで

いまのFisherの正確確率検定には、行と列の合計を固定して起こりうる表の確率をすべて数える方法と、合計を固定してよいとする理由づけが含まれています⁠^{[4, 5]}。この検定は、1934年から1935年にかけて、3人の統計学者の論文や教科書に現れました⁠^{[6, 7]}。

図1　Fisherの正確確率検定が生まれるまでの主な出来事。矢印の左はそのとき問題になったこと、右はそれに答えた方法。緑は、いまの検定の手順のもとになった段階

カイ二乗検定は、英国の統計学者Karl Pearson（カール・ピアソン）が1900年に発表しました⁠^[4]。この検定のp値は近似の分布から求めるので、期待度数が小さいと、近似は正確には成り立ちません⁠^[4]。同じ英国の統計学者Fisherは、1925年の教科書で、度数がごく少ない区分ではカイ二乗の分布がよく当てはまらないと書きました。そこで、どの区分でも期待度数が5を下回らないようにする目安を示しています⁠^[8]。

英国の統計学者Frank Yates（フランク・イェーツ）は、1931年からロザムステッド農事試験場でFisherの助手を務めました⁠^{[6, 9]}。Yatesは1933年、少ない度数でカイ二乗検定の近似がどれだけ合うかを調べようと考えました⁠^[4]。比べる基準となる、行と列の合計を固定した2×2表の正確な確率の形は、FisherがYatesに示しました⁠^[4]。

Yatesは1934年の論文で、この確率を基準に近似の当てはまりを調べました⁠^[6]。観測度数と期待度数のずれから2分の1を引いてカイ二乗値を計算すると、近似がよくなることもわかりました。Yatesは、この補正を連続修正と名づけました⁠^[4]。Fisherも1934年に、教科書の第5版に、正確な検定と連続修正の節を加えています⁠^[4]。連続修正のいまの扱いは、Pearsonのカイ二乗検定の記事で説明しています。

英国の医学統計学者Irwinも、少ない人数にもとづく割合の差を調べる正確な検定を、1935年の論文で示しました⁠^{[6, 10]}。論文は1933年5月に書き上げられていましたが、出版が遅れ、Yatesの論文やFisherの教科書の新しい版とは別に発表されました⁠^{[6, 7]}。IrwinもYatesもFisherと働いていたので、Fisherの影響で2人がこの検定を使ったと考えるのが妥当だ、とする歴史の論文もあります⁠^[6]。

合計を固定してよい理由は、Yatesも詳しく論じました⁠^[6]。Fisherは1935年の論文で、合計はそれだけでは比べたい差について情報をもたないと認めるなら、合計を固定して数えてよいとしました⁠^[5]。Yatesによれば、Fisherは、合計が前もって決まっているかどうかにかかわらず、正確な検定を使うべきだとしました⁠^[4]。Fisherは、この検定は推定の手順を含まず、少ない標本でも正確だとも述べています⁠^[5]。

Fisherは同じ1935年の著書『実験計画法』で、ある婦人の主張を確かめる実験の組み立て方を説明しました⁠^{[4, 11]}。婦人は、ミルクティーを飲めば、ミルクを先に入れたか紅茶を先に入れたかを言い当てられると言いました。Fisherの案では、ミルクが先のカップと紅茶が先のカップを4杯ずつ、計8杯用意し、無作為な順に出します⁠^{[11, 12]}。婦人にはそのことを前もって伝え、4杯ずつの2組に分けてもらいます⁠^{[4, 12]}。

行と列の合計をどちらも固定する考え方には、反対の意見もありました⁠^[6]。1945年にはBarnard（バーナード）が、列の合計を固定しない検定を示し、Fisherの検定より検出力が高いと主張しました⁠^[4]。Barnardは、まもなくこの提案を取り下げました⁠^[4]。Fisherは1956年の著書で、Barnardが考え直したと書いています⁠^{[4, 6]}。

合計を固定して起こりうる表の確率をすべて数える考え方は、FisherがYatesに示した方法と同じです⁠^[4]。合計を固定してよいとする理由づけは、Fisherの1935年の論文にあります⁠^[5]。実際の表と同じか、それより起こりにくい表の確率を両側で足す数え方は、Irwinの規則と呼ばれます⁠^[3]。

Fisherの1925年の目安は、期待度数5を基準にする従来の目安と同じ形です⁠^{[3, 8]}。2×2表の検定の研究をまとめた論文が勧める無条件検定も、Barnardの検定と同じく、列の合計を固定しない検定です⁠^{[1, 4]}。

Fisherの正確確率検定の求め方

Fisherの正確確率検定では、行と列の合計を固定したまま、起こりうる表の確率をすべて求めます。実際の表と同じか、それより起こりにくい表の確率を足したものが、両側のp値です。紅茶の味見の実験で考えます。8杯から4杯を選ぶ選び方は70通りあります。婦人に飲み分ける力がまったくなく、当てずっぽうで選んだとすると、4杯とも当たる確率は70分の1、約1.4%です⁠^[4]。

3杯当たる選び方は、正しい4杯から3杯、間違った4杯から1杯を選ぶので、4×4＝16通りです。4杯とも当たる1通りと合わせると17通りで、3杯以上当たる確率は70分の17、約24%です⁠^[4]（図2）。紅茶の例の確率は、その結果か、それよりよく当たる結果の確率で、当たる側の片側だけを足しています⁠^[4]。3杯以上当たることは偶然でも約4回に1回起こるので、この結果だけでは、飲み分ける力の証拠にはなりません。

図2　紅茶の味見：当てずっぽうで選んだときに当たる杯数の確率（文献11の例をもとに作成）

紅茶の実験は、「本当はミルクが先か」と「婦人がミルクが先と答えたか」の2×2表として書けます。行の合計も列の合計も、実験の前から決まっています。Yatesは、この実験を、両方の合計が前もって決まる2×2表の、古典的で、やや珍しい例と述べています⁠^[4]。

セルは、表の中で数を数える1つ1つの枠です。合計が決まっていれば、1つのセルの数が決まると、残りのセルもすべて決まります。そのため、1つのセルの数ごとに、その表が偶然に生じる確率を計算できます。この確率の分布を超幾何分布と呼びます⁠^[6]。

転倒予防の取り組みを試した病棟の例も、同じように考えます。転倒した人は全部で7人でした。取り組みに効果がまったくないなら、この7人は、20人の中から病棟に関係なく偶然に選ばれたのと同じです。そこで、取り組みをした病棟の10人に、転倒者が0人から7人まで入る確率を、それぞれ計算します（図3）。

図3　架空の転倒の例でのp値の求め方

取り組みをした病棟の転倒者が、実際と同じ1人になる表の確率は0.027でした（図3）。これと同じか、それより起こりにくい表は、転倒者が0人、1人、6人、7人の4つの表です。4つの表の確率を足した0.057が、両側のp値です。近似の式を使わず、起こりうる表を数え上げて確率を出すので、「正確」確率検定と呼ばれます。

Fisherの正確確率検定の限界

「正確」は近似を使わずにp値を計算するという意味で、誤って有意と判定する確率がちょうど5%になるという意味ではありません。転倒の例では、Fisherの正確確率検定はp＝0.057、カイ二乗検定はp＝0.019でした。「正確」な方の結果を信じればよい、とは言い切れません。

Fisherの検定では、合計を固定するので、起こりうる表の数が限られます。転倒の表では8通りしかなく、両側のp値がとりうる値は、1、0.35、0.057、0.003の4つだけです（筆者の計算）。0.057の次が0.003なので、「p≦0.05なら有意」と決めても、転倒者が0人か7人の表でなければ有意になりません。

転倒者の合計が7人という条件のもとでは、本当は差がないのに有意になる確率は0.3%しかありません（筆者の計算）。2つの群で転倒する割合が本当はどちらも30%の場合も計算しました。各群10人のとき、Fisherの検定で有意になる確率は1.2%、各群50人でも3.1%でした。カイ二乗検定ではそれぞれ3.7%と5.0%で、各群5人では5.8%と5%を上回りました（図4、筆者の計算）。

図4　本当は差がないのに、p≦0.05で有意になる割合。2群の割合がどちらも30%の場合を、二項分布から筆者が計算した

本当は差がないのに有意になる確率が、決めた有意水準を下回る検定を、保守的な検定と呼びます。保守的な検定では、本当に差があるときにも、それを見つけにくくなります。Fisherの検定は、保守的すぎるという多くの批判を受けてきました⁠^[13]。

Fisherの正確確率検定を使う場面

従来の目安では、期待度数が5未満のセルがあれば、カイ二乗検定ではなくFisherの正確確率検定を使います⁠^[2]。カイ二乗検定のp値は、カイ二乗分布という近似を使って求めます。この近似は、人数が多く期待度数の目安を満たす表ではよく当てはまりますが、人数が少ないと外れることがあります⁠^[2]。

期待度数は、2つの変数に関連がないとしたときに各セルに入るはずの人数です。「行の合計×列の合計÷全体の人数」で求めます。転倒の例では、取り組みをした病棟の転倒者の期待度数は10×7÷20＝3.5人です。期待度数のくわしい説明は、Pearsonのカイ二乗検定の記事にあります。

期待度数5の目安は、Fisherの目安と、Cochran（コクラン）の勧めにならったものとされます⁠^[3]。ただし、Cochran自身は、5という数を任意に選んだと述べていました⁠^[3]。

SPSSのカイ二乗検定の出力には、期待度数が5未満のセルの数と割合が表示されます。この割合が20%を超えるときはFisherの正確確率検定を使う、という目安が紹介されています⁠^[2]。2×2表では1つのセルが全体の25%にあたるので、期待度数が5未満のセルが1つでもあれば、Fisherの正確確率検定を使うことになります。

いちばん小さい期待度数も出力に表示され、転倒の例では3.50です。2×2表なら、いちばん小さい行の合計と、いちばん小さい列の合計をかけて、全体の人数で割れば求まります。転倒の例では、4つのセルのうち2つ、つまり50%が3.5人なので、従来の目安に従えばFisherの正確確率検定を選ぶことになります。

Fisherの正確確率検定に代わる方法

2×2表の両側検定を比べた研究は、いちばん小さい期待度数が1以上なら「N−1」カイ二乗検定を、1未満ならFisherの検定を使う方針を勧めています⁠^[3]。期待度数5を基準にする従来の目安と比べて、この方針は検出力が高くなりました⁠^[3]。1未満のときのFisherの検定では、Irwinの規則で両側のp値を求めます⁠^[3]。

「N−1」カイ二乗検定は、ふつうのカイ二乗値に、全体の人数Nを使った（N−1）÷Nを掛ける方法です⁠^[14]。この方法は、Egon Pearson（エゴン・ピアソン）が最初に提案しました⁠^[3]。Egon Pearsonは、カイ二乗検定を考えたKarl Pearsonの息子です⁠^[15]。転倒の例では、カイ二乗値5.49が5.22になり、p＝0.022です（筆者の計算）。

期待度数1を境にする方針に従えば、転倒の例のいちばん小さい期待度数3.5は1以上なので、「N−1」カイ二乗検定で調べます。p＝0.022なので、5%の水準で有意です。SPSSのクロス集計の出力では、「線型と線型による連関」が、2×2表ではこの「N−1」カイ二乗値と同じ値になります（筆者の確認）。

2×2表の検定の研究をまとめた論文は、従来のFisherの正確確率検定の代わりに、無条件検定とmid-p値をもっと使うべきだと勧めています⁠^[1]。この論文によれば、無条件検定は有意水準を保ち、中程度から少ない人数では、一般にFisherの正確確率検定より検出力が高くなります⁠^[1]。

無条件検定は、転倒者の合計を固定せず、各群の人数だけを固定して計算する検定です。Barnard検定やBoschloo検定があります。転倒の例では、Barnard検定でp＝0.022、Boschloo検定でp＝0.026です（筆者の計算）。以前は計算に手間がかかることが難点でしたが、いまは統計ソフトで計算できます⁠^[1]。

合計を固定するかどうかで、同じ表の確率は変わります。各群3人で、一方の群は3人とも「あり」、もう一方は3人とも「なし」の表を考えます。2群の割合がどちらも0.5なら、この表は、「あり」の人数の合計を固定しないと64分の1、両方の合計を固定すると20分の1の確率で起こります⁠^[4]。

mid-p値は、Fisherのp値を調整したものです。実際の表より起こりにくい表の確率はそのまま足し、実際の表と同じ確率の表の確率は半分だけ足します。転倒の例では、実際の表と同じ確率の表は転倒者が1人と6人の表で、mid-p値は0.030です（筆者の計算）。p値が飛び飛びになる検定の保守性をやわらげる方法として、使われています⁠^[6]。

Fisherの検定にmid-pの調整をすると、無条件検定とほぼ同じ結果になることも報告されています⁠^[1]。図4でも、各群10人以上では、mid-p値で有意になる割合は3.7〜4.5%と、Fisherの検定より5%に近くなっていました。ほかの研究でも、mid-p値の実際の有意水準は、従来の検定より名目上の水準に近くなる傾向が示されています⁠^[13]。

いちばん小さい期待度数が1未満の表では、Fisherの検定を使うかどうかで、2つの勧めが分かれます。両側検定を比べた研究はFisherの検定を勧め、研究をまとめた論文は、従来のFisherの検定の代わりにmid-p値か無条件検定を勧めています⁠^{[1, 3]}。

転倒の例では、「N−1」カイ二乗検定、無条件検定、mid-p値のいずれでも、p値は0.05を下回りました（筆者の計算）。どの方法を使うかは、データを見る前に決めておきます。結果を見てからp値の小さい方法を選ぶと、それ自体が偏りになるからです。解析の方法を前もって決めておく理由は、研究計画書の書き方の記事で説明しています。

結果の書き方

結果には、p値だけでなく、各群の割合と差の大きさを95%信頼区間とともに示し、使った検定の名前を書きます。p値だけでは、差の大きさが伝わらないからです。転倒予防の例なら、転倒した人の割合は、取り組みをした病棟で10人中1人の10%、しなかった病棟で10人中6人の60%でした。差は50ポイントです。

割合の差の95%信頼区間を、Newcombe（ニューカム）が提案した方法で求めると、8〜75ポイントです（筆者の計算）。この方法は、2つの割合それぞれのWilson（ウィルソン）の信頼区間を組み合わせて、差の信頼区間を求めます⁠^[16]。各群10人と人数が少ないため、区間の幅が広くなっています。

差の大きさに加えて、使った検定の名前とp値を書きます。差をオッズ比で示す場合の読み方は、オッズ比の記事で説明しています。

有意でなかったときに、「差はなかった」と書くことは誤りです。転倒予防の例では、Fisherの検定はp＝0.057でしたが、差の推定値は50ポイントもあります。この人数では、偶然と区別できるほどの証拠が得られなかったとしか言えません。有意差がないことと差がないことの違いは、統計的仮説検定の記事で説明しています。

まとめ

Fisherの正確確率検定は、行と列の合計を固定し、起こりうるすべての表の確率を数え上げてp値を求める検定です。紅茶の味見の例は、4杯とも当てる確率が70分の1になることから、偶然かどうかを判断する考え方を示しています。近似を使わないので「正確」と呼ばれますが、とりうるp値が飛び飛びになるため、人数が少ないと有意になりにくい側に偏ります。

行と列の合計をどちらも固定する形には、合計は比べたい差について情報をもたないというFisherの理由づけがあります。合計まで固定することには当時から反対の意見がありました⁠^[6]。2×2表の検定の研究をまとめた論文は、列の合計を固定しない無条件検定を勧めています⁠^[1]。

期待度数が5未満のセルがあるときは、従来はFisherの正確確率検定が使われてきました。2×2表の両側検定を比べた研究は、いちばん小さい期待度数が1以上なら「N−1」カイ二乗検定を、1未満ならFisherの検定を使う方針を勧めています⁠^[3]。2×2表の検定の研究をまとめた論文は、従来のFisherの正確確率検定の代わりに、mid-p値や無条件検定をもっと使うべきだとしています⁠^[1]。

期待度数が1未満の表では、Fisherの検定を使うかどうかで、両側検定を比べた研究と、研究をまとめた論文の勧めが分かれます。どの方法を使う場合も、データを見る前に決めておきます。結果には割合の差を信頼区間とともに示し、有意でないことを「差がない」と取り違えないようにします。

さらに学びたい人へ：おすすめの本

• 対馬栄輝『SPSSで学ぶ医療系データ解析 第2版』（東京図書）：医療系の研究者に向けて、SPSSの操作手順と分析の考え方をあわせて解説した入門書です。検定の選び方を独立した章で扱い、差の検定から分散分析、多変量解析まで進みます（2016年刊行、SPSS 24に対応）。
• 内田治『SPSSによるノンパラメトリック検定』（オーム社）：ノンパラメトリック検定だけを扱った解説書です。例題をSPSSで解きながら進み、少人数のデータに使う正確確率検定や、必要なデータ数の決め方も解説しています（2014年刊行、SPSS 22に対応）。