公開日: 更新日: 著者: 運営者情報
定義
多重性という用語は、多数の検証を行うことで偶然の差を拾う機会が増える問題を指します。結果を選ぶ前に、どの検証を一まとまりとして扱い、誤判定をどう管理するかを決めます。検定間の依存や探索の目的によって、適切な管理の方法は変わります。
測り方
何を一組の検証として扱うかを事前に定義します。独立した20回の検定を各5%で行う仮想条件では、少なくとも一回誤って差を示す確率は1−0.95の20乗で約64%です。実際には検定間の依存関係や目的によって対応が変わります。
読み違えやすい点
全てを機械的に補正すればよいわけでもありません。確証的な問い、探索的な問い、逐次的な判断では管理したい誤りが異なるため、計画と報告の対応が必要です。
判断が変わる六つの場面
評価項目の増加
仮想例：体重、体脂肪率、歩行、睡眠など20項目を比べた。有意だった項目だけを提示すると探索の総数が見えない。全項目と事前の優先順位を確かめます。
時点の選択
仮想例：毎週測り最も差の大きい週を採用した。一つの項目でも時点を選ぶことで比較の機会が増える。全時点の記録と主要時点を確かめます。
層別の探索
仮想例：年齢や経験別に多数の切分けを試した。最も良い層だけを選ぶ判断には選択の影響がある。実施した層別解析の一覧を確かめます。
ボンフェローニ
仮想例：五つの検証を全体5%で管理する単純例。各検定を1%とする規則は独立性を必須としないが保守的になりうる。検証の家族と補正方法を確かめます。
発見率の管理
仮想例：探索で多数の候補を次の研究へ渡した。少なくとも一つの誤りを抑える管理と誤発見率の管理は別。FDRかFWERかの目的を確かめます。
中間解析
仮想例：途中の結果を何度も確認して終了を決めた。何度も同じ基準を使うと停止規則が判断へ影響する。事前の中間解析計画を確かめます。
基本の計算と適用条件
独立した検定を20回行い、全てで真の差がないという仮想条件を置きます。一回で誤って差を示さない確率が0.95なら、20回とも誤らない確率は0.95の20乗で約0.358です。少なくとも一回誤る確率は約0.642になります。各検定の5%と、全体で少なくとも一つの誤りが出る確率は同じではありません。
実際の評価項目は相関することが多く、この独立の計算を全研究へそのまま当てはめません。しかし同じ項目でも測定時点や層、モデルを多く試すと選択の機会が増えます。検定した項目だけでなく、結果を見て採用した時点や境界を記録します。実施した比較と報告された比較を照合することで、どの結果が選ばれたかを読めます。
五つの確証的な検定を全体5%で管理する単純な方法では、各基準を0.05/5=0.01とするボンフェローニ補正を考えます。検定の独立性を必須としない一方、依存や目的によって保守的になりえます。一つの方法を万能と考えず、管理する検定の集合と誤りの種類を明示します。補正後のP値だけでは、その選択の理由は分かりません。
探索で多くの候補を拾う目的では、誤発見率を管理する方法が使われる場合があります。これは少なくとも一つの誤りを抑える家族単位の管理と異なります。探索した結果は独立した研究で検証する役割へつなげます。補正をしたかどうかだけで研究を分類せず、主題、判断の規則、探索の範囲、報告の完全性を一緒に読むと、数値の強さを適切に判断できます。
この考え方で読める広告
20項目のうち一つ改善したという美容広告
仮想例：20項目をそれぞれ5%の水準で独立に検定し、全部に真の差がないとします。少なくとも一つで偶然に有意となる確率は1−0.95の20乗で約64%です。項目を多数調べた後に一つのP値だけを広告へ抜き出すと、その探索の範囲が隠れます。実際に項目が相関する場合、この独立の計算をそのまま使うことはできません。
評価項目、測定時点、年齢層、解析法を変えて試す行為が、比較の数を増やします。ボンフェローニなら20比較で0.05/20=0.0025が各検定の目安です。家族内誤り率と偽発見率は異なる目的を持つので、どちらを管理したかを読む必要があります。中間解析で繰り返し止める判断にも、予定した監視の方法が関係します。
広告の有意な項目の一覧を、計画書にある検証項目の全体と比べます。不採用になった解析を含む実施数が不明なら、示されたP値の選択過程も不明です。補正後の値か、探索の結果かを凡例で確認し、単一の良い結果だけを確証としていないかを読みます。
数値で確かめる
各検定の偽陽性確率が5%で、全ての帰無仮説が真、かつ検定が独立という計算です。実際の評価項目間の依存や確証・探索の目的は、この数表だけでは扱いません。
| 独立した検定の回数 | 一回以上の偽陽性確率 % |
|---|---|
| 1 | 5.00 |
| 5 | 22.62 |
| 10 | 40.13 |
| 20 | 64.15 |
混同しやすい判断を分ける
主要評価項目
主題を絞ることと、複数の主要項目の判断規則を定めることが検証の範囲を明確にする。 主要評価項目の解説。
事前登録
結果を見る前に比較の家族や優先順位を記録したかを読む。 事前登録の解説。
効果修飾
多数の層を探すときは、層間の差の検証と探索の総数を併せて示す。 効果修飾の解説。
出典
よくある質問
多重性とは何ですか
多重性は、複数の評価項目、時点、集団、解析方法について判断を繰り返すと、偶然の差を発見する機会が増える問題です。
多くの項目を測っただけで調整が必要ですか
同じ成功の主張に使う比較群をどう定めたかによります。評価項目や解析を選択して結論を出す範囲を明示します。
ボンフェローニと偽発見率は同じですか
違います。前者は少なくとも一つの偽陽性、後者は発見とした集合に含まれる偽発見の割合を扱います。