検出力とサンプルサイズの決め方:何人いれば差を見逃さないか

検出力とサンプルサイズの決め方:何人いれば差を見逃さないか

1978年、「治療に効果はなかった」と報告された71本の臨床試験を調べ直した研究があります。そのうち67本は、治療が本当に25%よく効いていたとしても、それを見逃す確率が10%を超える人数で行われていました(Freiman ら 1978)。「有意差がなかった」という結果は、効果がないことを示したのではなく、差を見つけられるだけの人数がいなかっただけかもしれないのです。

新しい歩行練習の効果を確かめる研究を計画するとしましょう。練習をするグループとしないグループを10人ずつで比べて差がなかったら、その練習は効かないと言えるでしょうか。何人集めれば、本当にある差を見逃さずにすむのでしょうか。

検出力とサンプルサイズの要点

  • 2つの誤り:本当は差がないのに「差あり」とする第1種の過誤の確率をα、本当は差があるのに見逃す第2種の過誤の確率をβと呼ぶ
  • 検出力:本当に差があるときに、それを「有意差あり」として見つけられる確率で、1−βで表す。80%以上を目安にすることが多い
  • 人数を決める4つの量:見つけたい差の大きさ、ばらつきを表す標準偏差、有意水準α、検出力。この4つを決めると必要な人数が計算でき、見つけたい差が半分になると人数は4倍になる
  • 計算の例:歩行速度の0.10m/sの差を、変化量の標準偏差0.20m/s、α5%、検出力80%で見つけるには、1群64人が必要
  • 小さな研究の落とし穴:リハビリテーションの研究には人数の少ないものが多く、中くらいの差でも見逃しやすい。「有意差なし」は「効果なし」と同じではない
  • 前もって決める:人数は研究を始める前に計算し、その根拠を論文に書く。得られた差をもとに結果が出てから計算する検出力は、p値以上の情報をもたない
  • 比べ方で計算が変わる:同じ人の前後を比べる場合や、練習前の値の違いを取り除いて比べる共分散分析では、前後の相関が高いほど人数が減る。割合、3群以上の平均、2つの量の相関では、効果量の種類が変わる
  • 繰り返し測るデータ:同じ人の測定どうしは似ているので、グループのあいだで値を比べるときは、測定の回数を増やしても補える人数に限りがある。線形混合モデル(LMM)の人数はシミュレーションで確かめる

2つの誤りと検出力

統計的仮説検定では、まず「2つのグループに差はない」という帰無仮説を立て、データがその仮説と大きく食い違うときに「有意差あり」と判断します。このとき起こりうる誤りは2種類あります。一つは、本当は差がないのに、偶然のばらつきで「差あり」と判断してしまう誤りで、第1種の過誤と呼びます。差がないのに「差あり」とする誤りの確率がαです。もう一つは、本当は差があるのに「差なし」と判断してしまう誤りで、第2種の過誤と呼びます。差を見逃して「差なし」とする誤りの確率がβです。

この2つの誤りをはっきり分けて考えたのは、統計学者のネイマンとピアソンです。彼らは1928年と1933年の論文で、帰無仮説に対する対立仮説、つまり「差がある」という仮説を置き、両方の誤りを考えて検定を組み立てました(Neyman と Pearson 1928, 1933)。同じころ統計学者のフィッシャーが広めた有意性検定には、はっきりした対立仮説がなく、βや、研究の前に人数を決めるという手順も含まれていませんでした(Perezgonzalez 2015)。

検出力は、本当にある差を見つけられる確率で、1−βです。本当に差があるときに、それを「有意差あり」と判断できる確率のことです。図1の左の山は、本当は差がないときに、検定に使う値がどのようにばらつくかを示しています。右の山は、本当に差があるときのばらつきです。点線より外側に値が来ると「有意差あり」と判断します。左の山のうち点線の外側の部分がα、右の山のうち点線の内側に残る部分がβで、右の山のうち点線の外側に出た部分が検出力です。

2つの山形の分布を重ねた図。左の灰色の山は本当は差がないときの検定統計量の分布、右の緑の山は本当に差があるときの分布。左右の点線より外側なら有意差ありと判断する。左の山の外側の両端がそれぞれα/2で、合わせてαが差がないのに差ありとする誤り。右の山のうち点線の内側のオレンジの部分がβで差を見逃す誤り、点線の外側の緑の部分が検出力1−β

図1 αとβと検出力の関係。有意水準α=5%の両側検定で、検出力がおよそ80%になる差を例に描いた。

検出力を決める4つの量

見つけたい差、ばらつき、α、人数の4つで、検出力が決まります。図1の2つの山が離れているほど、右の山の多くが点線の外側に出て、検出力は高くなります。山の離れ具合は、見つけたい差が大きいほど、測定値のばらつきが小さいほど、そして人数が多いほど大きくなります。点線の位置は、第1種の過誤をどこまで許すかを決めた値、つまり有意水準αで決まります。逆に、見つけたい差、ばらつき、α、目標の検出力を決めれば、必要な人数が計算できます。

差の大きさとばらつきは、一つの値にまとめて表せます。差を標準偏差で割った値を、効果量 d と呼びます。心理学者のコーエンは、d=0.2を小さい差、0.5を中くらいの差、0.8を大きい差の目安としました。また、コーエンは、検出力80%を目安にするよう勧めました。第1種の過誤は第2種の過誤のおよそ4倍重大だと考え、α=0.05に対してβ=0.20としたのです(Cohen 1988)。

図2は、2つのグループの平均をt検定で比べるときの、1群の人数と検出力の関係です。大きい差なら1群26人で検出力が80%に届きますが、中くらいの差では64人、小さい差では394人が必要です。

横軸が1群あたりの人数0から200人、縦軸が検出力の折れ線グラフ。効果量dが0.8の大きい差では26人、0.5の中くらいの差では64人で検出力80%に届く。0.2の小さい差では200人でも検出力は約51%で、80%には394人が必要

図2 1群の人数と検出力。2つのグループを対応のないt検定で比べ、有意水準を両側5%とした場合の計算。点線は検出力80%。

2つのグループの平均を比べるときの必要な人数は、次の近似式で計算できます(Whitley と Ball 2002)。

1群の人数 = 2 ×(1.96 + 0.84)2 ×(標準偏差 ÷ 見つけたい差)2

(1.96+0.84)の2乗の2倍はおよそ16なので、両側α=5%で検出力80%なら、1群の人数はおよそ16×(標準偏差÷差)2です。この式から、見つけたい差が半分になると、必要な人数は4倍になることがわかります。検出力を90%にしたいときは、0.84の代わりに1.28を使います。

1.96と0.84は、標準正規分布、つまり平均0、標準偏差1の正規分布で測った値です。1.96は図1の右の点線の位置で、両側α=5%に対応します。0.84は、右の山の80%が点線の外側に出るために、右の山の中心が点線からさらに離れていなければならない距離です。図1は検出力80%の例なので、2つの山の中心は1.96+0.84=2.8だけ離れています。最初の近似式は、山の中心の距離がちょうど2.8になる人数を、差とばらつきから求めたものです。

歩行速度の研究で計算してみる

脳卒中のあとの2つの歩行練習の効果を、歩行速度の変化で比べるとします。標準偏差0.20m/sなら、0.10m/sの差に1群64人が必要です。見つけたい差と標準偏差の2つの値は、先行研究から次のように決めます。

見つけたい差は、意味のある変化の大きさを目安に決めます。高齢者や脳卒中の人の歩行速度では、0.10m/sの改善が大きな意味のある変化、0.05m/sが小さな意味のある変化の目安とされています(Perera ら 2006)。ここでは、見つけたい差を0.10m/sとします。どの値を選んだかとその理由は、研究計画書に書いておきます。

ばらつきには、似た対象を調べた研究の値を使います。アメリカで行われた大規模な試験(LEAPS)には、発症からおよそ2か月の脳卒中の人408人が参加しました。試験開始から発症1年後までの歩行速度の変化は、2つの歩行練習のグループで、それぞれ平均0.23m/s、標準偏差0.20m/sと、平均0.24m/s、標準偏差0.23m/sでした(Duncan ら 2011)。標準偏差を0.20m/sとすると、1群の人数はおよそ16×(0.20÷0.10)2=64人です。近似式を正確に計算すると63人、t検定にもとづく計算では64人になります。

実際の研究では、途中で参加をやめる人が出ます。脱落を15%見込むと、1群およそ76人が必要です。最後まで残る85%の人数が64人になるように、64を0.85で割って求めます。2群では152人です。

見つけたい差と標準偏差1群の人数脱落15%を見込むと
差0.10m/s、標準偏差0.20m/s64人76人
差0.05m/s、標準偏差0.20m/s253人298人
差0.10m/s、標準偏差0.27m/s116人137人

表1 歩行速度の差を2群で比べるときの1群の人数。有意水準は両側5%、検出力80%、対応のないt検定にもとづく計算。3行目の標準偏差は、地域で暮らす高齢者の値。

表1の2行目のように、見つけたい差を半分の0.05m/sにすると、人数は4倍近い253人に増えます。また、標準偏差は、比べる値と対象者に合わせて選びます。表1の3行目は、変化量ではなく、練習後の歩行速度そのものを比べる場合の例です。地域で暮らす65歳以上の高齢者3万4485人のデータをまとめた研究では、歩行速度そのものの標準偏差は0.27m/sでした(Studenski ら 2011)。この値を使うと、変化量の標準偏差0.20m/sで計算したときより多い116人が必要になります。ただし、これは脳卒中の人ではなく地域の高齢者の値なので、脳卒中の研究にそのまま使うことはできません。

実際の計算には、無料のソフトウェアG*Powerなどを使えます(Faul ら 2007)。ソフトウェアの答えは、上の近似式と1〜2人ずれることがあります。これは、ソフトウェアが正規分布ではなく、t検定で使うt分布をもとに計算しているためです。

LEAPSの研究者たちも、計画の段階でこうした計算をしていました。主な評価項目である、歩行が回復した人の割合に20%の差があれば、それを見つけられる人数を計算しています。2つの歩行練習のグループのあいだの、歩行速度の変化の0.1m/sの差についても同じです。どちらも検出力85%、両側α=5%です。そのうえで、発症1年後までに15%が脱落すると見込んで、400人を集める計画を立てました(Duncan ら 2007)。試験の結果、主な比較ではグループのあいだに差はありませんでした(Duncan ら 2011)。人数が十分な試験の「差なし」は、小さな試験より信頼できます。計画した大きさの差があれば、85%の確率で見つけられる人数だったからです。10人ずつの試験で差がなかった場合とは、重みがまったく違います。

人数が足りない研究で起きること

では、実際の研究は十分な人数で行われているのでしょうか。「差なし」の試験の8割以上は、人数が足りていませんでした。これは、主要な医学雑誌3誌(JAMA、Lancet、NEJM)に1975年、1980年、1985年、1990年に載った試験を調べた研究の結果です。対象は、ランダム化比較試験、つまり参加者を無作為にグループに分けて効果を比べた試験383本です。結果が「差なし」だった2群の試験70本のうち、25%の差を80%の検出力で見つけられる人数があったのは16%だけでした(Moher ら 1994)。

リハビリテーションの研究でも状況は同じです。リハビリテーションの効果を調べた100本の研究を分析すると、検出力の中央値は、小さい差で0.08、中くらいの差で0.26、大きい差で0.56でした(Ottenbacher と Barrett 1990)。中くらいの差があっても、4回に3回は見逃す計算です。脳卒中のあとの上肢の機能回復を調べたランダム化比較試験1307本では、研究開始時の参加者数の中央値は30人でした(Saikaley ら 2023)。1群15人で効果量0.5の差、つまり表1の1行目と同じ差を比べると、検出力はおよそ26%にとどまります。10人ずつなら19%ほどで、本当に差があっても5回に4回は見逃します。

だからこそ、人数の少ない研究で「有意差なし」となった結果は、慎重に読む必要があります。「有意差なし」は、差がないという証拠ではありません。示しているのは、差があるという証拠がなかったことだけです(Altman と Bland 1995)。差の大きさと、本当の差がありそうな範囲を示す95%信頼区間を見れば、どのくらいの差まで否定できていないかがわかります。

人数が足りない研究の問題は、差を見逃すことだけではありません。人数の少ない研究で有意になった差は、大きく見積もられがちです。人数が少ないと、偶然のばらつきで差が大きく出たときにしか有意にならないからです。神経科学の研究を調べた分析では、研究の検出力の中央値はおよそ8〜31%と見積もられました。この分析は、検出力が低いと、有意になった結果が本当の効果を反映している見込みも下がり、効果の大きさも過大に見積もられると指摘しています(Button ら 2013)。

人数は研究の前に決め、その根拠を書く

得られた差から計算した検出力は、p値の言い換えにすぎません。研究が終わってから、得られた差とばらつきを使って検出力を計算し、「検出力が低かったので差が出なかった」と説明する例があります。しかし、このような事後の検出力は、p値から一つに決まってしまいます。p値とは、本当は差がないとしたときに、今回と同じかそれ以上の差が偶然生じる確率です。p値が0.05なら、事後の検出力はおよそ50%で、p値以上の情報をもちません(Hoenig と Heisey 2001)。結果を解釈するときは、事後の検出力ではなく、差の大きさと信頼区間を示します。

そのため、人数は研究を始める前に決めます。論文には、人数の計算に使った仮定をすべて書きます。ランダム化比較試験の報告の指針であるCONSORT 2025は、人数をどのように決めたかを、計算に使ったすべての仮定とともに報告するよう求めています(Hopewell ら 2025a)。その解説によれば、主な評価項目と時期、見込んだ差とその根拠、標準偏差、使う検定、α、検出力、計算された1群の人数を書きます(Hopewell ら 2025b)。リハビリテーション医学の主な5誌に載ったランダム化比較試験では、人数の計算を報告していたものは1998年には3.4%でしたが、2008年には57.3%に増えていました(Abdul Latif ら 2011)。

比べ方が変われば、計算も変わる

歩行速度の例で使った計算は、2つのグループの平均を対応のないt検定で比べる場合のものでした。しかし、同じ大きさの差を見つけたいときでも、何を比べるか、どの検定を使うかで、必要な人数は変わります。検定ごとに、計算に使うばらつきと、差の大きさを表す効果量の種類が違うからです。

同じ人の前後を比べるとき

前後の相関が高いほど、必要な人数は少なくなります。同じ人の練習前と練習後を比べるときは、対応のあるt検定を使い、計算には一人ひとりの前後の差の標準偏差を使います。歩くのが速い人は練習の前も後も速いので、前後の差をとると、この個人差が打ち消されます。前後の値の相関が高いほど打ち消される部分が大きく、差の標準偏差が小さくなるのです。

例として、標準偏差の半分の差を検出力80%で見つける場合を考えます。2つのグループに分けて比べると、1群64人、合わせて128人が必要です。同じ人の前後を比べると、1人から2回分の測定が得られるので、前後の相関が0でも65人で足ります。相関が0.5なら34人、0.7なら21人、0.9なら9人です。ただし、対照群がないと、練習の効果と自然な回復を区別できません(「前後比較研究」)。

練習前の値を解析に使うとき

2つのグループを比べるランダム化比較試験でも、練習前の値を使えば人数を減らせます。練習前の値の違いを統計的に取り除いたうえで、練習後の値を比べる方法を共分散分析と呼びます。練習後の値だけを比べる場合と比べて、共分散分析なら、人数はおよそ(1−相関の2乗)倍で済みます(Borm ら 2007)。たとえば前後の相関が0.6なら、練習後の値だけを比べると85人が必要な試験でも、共分散分析なら54人で足ります。

練習前から練習後への変化量を比べる方法では、同じ例で68人です。ただし、前後の相関が0.5より低いと、変化量で比べる方法は不利です。変化量には2回の測定のばらつきが両方入るので、必要な人数は、練習後の値だけを比べる場合の2×(1−相関)倍になります。相関が0.5より低いと、この倍率が1を超えてしまうのです。3つの方法のなかでは、共分散分析が一般に最も検出力が高くなります(Vickers と Altman 2001)。

割合、3群以上の平均、相関を調べるとき

割合や3群以上の平均、相関では、d とは別の効果量を使います。割合、3つ以上のグループの平均、2つの量の関係を調べるときは、それぞれに合った効果量で差の大きさを表します。コーエンは、それぞれの効果量にも小・中・大の目安を示しました(Cohen 1988)。

比べるもの効果量と小・中・大の目安中くらいのときの人数
2群の平均(対応のないt検定)d:平均の差÷標準偏差
0.2・0.5・0.8
1群64人
2群の割合(割合の差の検定)h:割合を変換してとった差
0.2・0.5・0.8
1群63人
3群の平均(一元配置分散分析)f:群の平均の標準偏差÷群内の標準偏差
0.10・0.25・0.40
1群53人
2つの量の関係(相関係数の検定)r:相関係数
0.1・0.3・0.5
全体で84人

表2 比べ方ごとの効果量と、中くらいの効果を見つけるのに必要な人数。目安の値はコーエンによる。人数は有意水準を5%(t検定、割合の差の検定、相関係数の検定は両側)、検出力を80%として計算した。計算方法によって1人ほどずれることがある。

先行研究の効果量は、どの種類の値かを確かめてから使います。同じ「中くらい」でも必要な人数は効果量の種類によって違い、d の0.5と r の0.5も、まったく別の大きさだからです。

同じ差でも、50%に近い割合ほど多くの人数が必要です。割合の比較では、割合そのものがばらつきを決めます。割合のばらつきは50%のときに最も大きく、0%や100%に近づくほど小さくなります。そのため、同じ10ポイントの差でも、50%と60%を比べるには1群およそ390人、10%と20%を比べるにはおよそ200人が必要です。

ノンパラメトリック検定を使うとき

データが正規分布に従うかわからず、Mann-WhitneyのU検定を使う予定なら、t検定で計算した人数を少し増やします。U検定の人数は、t検定のおよそ1.05〜1.16倍が目安です。データが正規分布に従う場合は1.05倍で、1群64人なら67人になります。連続的な値をとるデータで、2つのグループの分布が同じ形で位置だけがずれている場合には、分布の形がどうであっても、必要な人数はt検定のおよそ1.16倍を超えません。これは人数が多いときの値で、t検定の人数を0.864で割った数にあたります(Hodges と Lehmann 1956)。徒手筋力検査の段階のように同じ値が多く出るデータは連続的な値ではないので、この目安はそのままでは使えません。

検定を何回も行うとき

3つのグループを2つずつ比べるときのように検定を3回行うと、ボンフェローニ法では有意水準を0.05÷3に下げます。有意水準を下げると、必要な人数は増えます。αを小さくすると図1の点線が外側に動くので、人数が同じままでは、右の山のうち点線の内側に残る部分、つまりβが大きくなります。検出力を80%に保つには、人数を増やして2つの山をもっと離す必要があります。中くらいの差なら、1群64人が86人になります。

繰り返し測るデータと線形混合モデル

リハビリテーションの研究では、同じ人の歩行速度を何度も測ったり、いくつもの病院から患者を集めたりします。こうしたデータの解析には、線形混合モデル(linear mixed model、LMM)が使われます。LMMは、個人差をモデルに組み込む解析の方法です。一人ひとりの出発点や回復の速さの違いを個人差として扱い、グループの違いや時間による変化を推定します。途中の測定が一部欠けた人も、残りの測定を解析に使えます。

同じ人の測定どうしの似ている度合いも、人数を左右します。この度合いは級内相関係数(ICC)で表し、全体のばらつきのうち個人差が占める割合を指します。ICCは、同じ人の2回の測定どうしの相関に等しくなります。測定の回数を増やす意味も、この値によって変わります。

グループのあいだで値の高さを比べるとき

相関が高いと、測定の回数を増やしても人数はあまり減りません。1人を m 回測った情報は、別々の人を1回ずつ測った場合の m ÷ {1 +(m − 1)× ICC} 人分にあたります(Vickers 2003)。図3のように、ICCが0.8なら10回測っても1.2人分で、回数をいくら増やしても1÷ICC、つまり1.25人分を超えません。測定を1回から2回に増やすと、必要な人数は、同じ人の測定どうしの相関が0.5なら25%減りますが、0.85なら7.5%しか減りません。3回、4回と増やすほど、減り方はさらに小さくなります(Vickers 2003)。

横軸が1人あたりの測定回数1から10回、縦軸が1人の測定が何人分に相当するかの折れ線グラフ。測定どうしが無関係なら回数と同じだけ増える点線になるが、ICCが0.2では10回で3.6人分、0.5では1.8人分、0.8では1.2人分にとどまり、曲線は頭打ちになる

図3 1人を繰り返し測ったときに、その測定が何人分の情報にあたるか。グループのあいだで平均を比べる場合の計算。ICCは同じ人の測定どうしの相関。点線は測定どうしが無関係な場合。

時間による変化を調べるとき

時間による変化なら、相関が高いほど少ない人数で済みます。前後の比較と同じように、同じ人の測定どうしの相関が高いほど、個人差が打ち消されるからです。脳卒中のあとの歩行速度を発症3、6、9、12か月の4回測り、回復の経過を追う研究では、LMMを使ったシミュレーションで人数を計算しました。時間による全体の変化と、隣りあう時点のあいだの0.14m/sの差を見つけるのに必要な人数は、時点ごとに5%の脱落を見込むと、測定どうしの相関が0.2なら117人、0.5なら74人、0.6なら59人、0.7なら45人でした。相関の値を示した先行研究がなかったため、研究者たちはこのように複数の値で計算し、0.6以上が妥当と考えて、少なくとも59人を集めることにしました(Rössler ら 2020)。この研究のように、相関の値がわからないときは、いくつかの値で計算しておきます。仮定する相関によって、必要な人数が2倍以上違ってくることがあるからです。

病棟や医師ごとに割り付けるとき

病院や病棟ごとに、どちらの練習方法を行うかを決める研究、つまり病棟ごとに割り付ける研究では、同じ病棟の患者どうしが似ている分、必要な人数は増えます。このときのICCは、全体のばらつきのうち病棟の違いが占める割合です。必要な人数は、一人ずつ割り付ける場合の 1 +(1つの病棟の人数 − 1)× ICC 倍になり、この倍率をデザイン効果と呼びます(Campbell ら 2012)。医師ごとに指導の方法を割り付け、4人の医師がそれぞれ32人の患者を受け持つ例では、ICCが0.017と小さくてもデザイン効果は1.527になり、128人のデータは84人分の情報にしかなりません。80%のはずだった検出力は61%に下がります。このようなときは、1つの病棟や1人の医師あたりの人数を増やすより、病棟や医師の数を増やすほうが、検出力を効率よく上げられます(Killip ら 2004)。

シミュレーションで人数を確かめる

LMMの人数は、架空のデータを使うシミュレーションで求めます。LMMの検出力は、見つけたい効果の大きさのほか、出発点の個人差、回復の速さの個人差、測定ごとのばらつき、測定の回数と間隔、脱落の見込みなど、多くの値で決まります。t検定のような一つの式で計算できるのは、限られた場合だけです(Kumle ら 2021)。手順は次のとおりです。

  1. 解析に使うモデルを決める。たとえば、歩行速度の回復の速さが2つのグループで違うかを調べるモデル
  2. 見つけたい効果の大きさ、個人差の大きさ、測定ごとのばらつきを、先行研究をもとに決める
  3. その値から架空のデータを1000回以上作り、毎回LMMで解析する
  4. 有意になった割合を検出力とし、80%に届くまで人数を変えて繰り返す

統計ソフトRでは、simrというパッケージでこの計算ができます(Green と MacLeod 2016)。

注意したいのは、入れる値の選び方です。効果を大きめに見積もると、人数が足りなくなります。論文で報告された効果は、大きめに出ていることがあります。そのため、報告された効果を15%ほど小さくして計算する方法も紹介されています。計算に使った値は、すべて論文に書きます(Kumle ら 2021)。

また、人数を計算する方法は、実際に使う解析の方法に合わせます。解析と合わない方法で計算すると、人数が多すぎたり少なすぎたりするおそれがあります(Guo ら 2013)。LMMで解析する予定なら、t検定の式で人数を決めるのは適切ではありません。

まとめ

検出力は、本当に差があるときにそれを見つけられる確率です。必要な人数は、見つけたい差、ばらつき、有意水準α、目標の検出力の4つから計算でき、見つけたい差が半分になると4倍になります。歩行速度の0.10m/sの差を、標準偏差0.20m/s、α5%、検出力80%で見つけるには、1群64人が必要です。人数の足りない研究の「有意差なし」は、効果がないことを示すものではありません。人数は研究の前に決め、その根拠を書きます。計算は比べ方によっても変わり、同じ人の前後を比べるときは前後の相関、割合を比べるときは割合の水準によって人数が変わります。同じ人を繰り返し測るデータでも、グループのあいだで値を比べるなら、測定の回数を増やすより人数を増やすほうが効果的です。LMMの人数はシミュレーションで確かめます。

ネイマンとピアソンが第2種の過誤という考えを持ち込んだことで、「差を見逃す確率」は計算できるものになりました。その道具を使ってFreimanらが過去の試験を調べ直すと、「効果がない」とされた治療の多くが、十分な人数で試されていなかったことが明らかになりました。いまでは、研究を始める前に見つけたい差と人数を決め、その根拠を論文に書くことが求められています。「有意差なし」の一言の裏に、どれだけの人数と、どれだけの見逃しの確率があったのかを読み取ることが、研究を読む側にも求められるようになったのです。

研究計画の全体は「研究計画書の書き方:データを見る前に決めておくこと」、検定の考え方は「研究と統計学の関係性:統計的仮説検定」、2群の平均の比較と効果量は「2標本t検定(対応のないt検定):等分散を確かめる必要はあるか」、歩行速度の意味のある変化は「10m歩行テスト(10MWT):測り方と歩行速度の目安」で解説しています。

さらに学びたい人へ:おすすめの本

参考文献

  1. Freiman JA, Chalmers TC, Smith H Jr, Kuebler RR. The importance of beta, the type II error and sample size in the design and interpretation of the randomized control trial. Survey of 71 "negative" trials. N Engl J Med. 1978;299(13):690-694. doi:10.1056/NEJM197809282991304
  2. Neyman J, Pearson ES. On the use and interpretation of certain test criteria for purposes of statistical inference. Part I. Biometrika. 1928;20A(1-2):175-240. doi:10.1093/biomet/20A.1-2.175
  3. Neyman J, Pearson ES. On the problem of the most efficient tests of statistical hypotheses. Philos Trans R Soc Lond A. 1933;231:289-337. doi:10.1098/rsta.1933.0009
  4. Perezgonzalez JD. Fisher, Neyman-Pearson or NHST? A tutorial for teaching data testing. Front Psychol. 2015;6:223. doi:10.3389/fpsyg.2015.00223
  5. Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Associates; 1988.
  6. Whitley E, Ball J. Statistics review 4: sample size calculations. Crit Care. 2002;6(4):335-341. doi:10.1186/cc1521
  7. Perera S, Mody SH, Woodman RC, Studenski SA. Meaningful change and responsiveness in common physical performance measures in older adults. J Am Geriatr Soc. 2006;54(5):743-749. doi:10.1111/j.1532-5415.2006.00701.x
  8. Duncan PW, Sullivan KJ, Behrman AL, et al. Body-weight-supported treadmill rehabilitation after stroke. N Engl J Med. 2011;364(21):2026-2036. doi:10.1056/NEJMoa1010790
  9. Studenski S, Perera S, Patel K, et al. Gait speed and survival in older adults. JAMA. 2011;305(1):50-58. doi:10.1001/jama.2010.1923
  10. Faul F, Erdfelder E, Lang AG, Buchner A. G*Power 3: a flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behav Res Methods. 2007;39(2):175-191. doi:10.3758/BF03193146
  11. Duncan PW, Sullivan KJ, Behrman AL, et al. Protocol for the Locomotor Experience Applied Post-stroke (LEAPS) trial: a randomized controlled trial. BMC Neurol. 2007;7:39. doi:10.1186/1471-2377-7-39
  12. Moher D, Dulberg CS, Wells GA. Statistical power, sample size, and their reporting in randomized controlled trials. JAMA. 1994;272(2):122-124. doi:10.1001/jama.1994.03520020048013
  13. Ottenbacher KJ, Barrett KA. Statistical conclusion validity of rehabilitation research: a quantitative analysis. Am J Phys Med Rehabil. 1990;69(2):102-107. doi:10.1097/00002060-199004000-00011
  14. Saikaley M, McIntyre A, Pauli G, Teasell R. A systematic review of randomized controlled trial characteristics for interventions to improve upper extremity motor recovery post stroke. Top Stroke Rehabil. 2023;30(4):323-332. doi:10.1080/10749357.2022.2035578
  15. Altman DG, Bland JM. Absence of evidence is not evidence of absence. BMJ. 1995;311(7003):485. doi:10.1136/bmj.311.7003.485
  16. Button KS, Ioannidis JPA, Mokrysz C, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci. 2013;14(5):365-376. doi:10.1038/nrn3475
  17. Hoenig JM, Heisey DM. The abuse of power: the pervasive fallacy of power calculations for data analysis. Am Stat. 2001;55(1):19-24. doi:10.1198/000313001300339897
  18. Hopewell S, Chan AW, Collins GS, et al. CONSORT 2025 statement: updated guideline for reporting randomised trials. BMJ. 2025;389:e081123. doi:10.1136/bmj-2024-081123
  19. Hopewell S, Chan AW, Collins GS, et al. CONSORT 2025 explanation and elaboration: updated guideline for reporting randomised trials. BMJ. 2025;389:e081124. doi:10.1136/bmj-2024-081124
  20. Abdul Latif L, Daud Amadera JE, Pimentel D, Pimentel T, Fregni F. Sample size calculation in physical medicine and rehabilitation: a systematic review of reporting, characteristics, and results in randomized controlled trials. Arch Phys Med Rehabil. 2011;92(2):306-315. doi:10.1016/j.apmr.2010.10.003
  21. Borm GF, Fransen J, Lemmens WA. A simple sample size formula for analysis of covariance in randomized clinical trials. J Clin Epidemiol. 2007;60(12):1234-1238. doi:10.1016/j.jclinepi.2007.02.006
  22. Vickers AJ, Altman DG. Analysing controlled trials with baseline and follow up measurements. BMJ. 2001;323(7321):1123-1124. doi:10.1136/bmj.323.7321.1123
  23. Hodges JL, Lehmann EL. The efficiency of some nonparametric competitors of the t-test. Ann Math Stat. 1956;27(2):324-335. doi:10.1214/aoms/1177728261
  24. Vickers AJ. How many repeated measures in repeated measures designs? Statistical issues for comparative trials. BMC Med Res Methodol. 2003;3:22. doi:10.1186/1471-2288-3-22
  25. Rössler R, Bridenbaugh SA, Engelter ST, et al. Recovery of mobility function and life-space mobility after ischemic stroke: the MOBITEC-Stroke study protocol. BMC Neurol. 2020;20(1):348. doi:10.1186/s12883-020-01920-z
  26. Campbell MK, Piaggio G, Elbourne DR, Altman DG; CONSORT Group. Consort 2010 statement: extension to cluster randomised trials. BMJ. 2012;345:e5661. doi:10.1136/bmj.e5661
  27. Killip S, Mahfoud Z, Pearce K. What is an intracluster correlation coefficient? Crucial concepts for primary care researchers. Ann Fam Med. 2004;2(3):204-208. doi:10.1370/afm.141
  28. Kumle L, Võ MLH, Draschkow D. Estimating power in (generalized) linear mixed models: an open introduction and tutorial in R. Behav Res Methods. 2021;53(6):2528-2543. doi:10.3758/s13428-021-01546-0
  29. Green P, MacLeod CJ. SIMR: an R package for power analysis of generalized linear mixed models by simulation. Methods Ecol Evol. 2016;7(4):493-498. doi:10.1111/2041-210X.12504
  30. Guo Y, Logan HL, Glueck DH, Muller KE. Selecting a sample size for studies with repeated measures. BMC Med Res Methodol. 2013;13:100. doi:10.1186/1471-2288-13-100

この記事を書いた人

Charcot

コメント