立川の美容・健康・ダイエット情報ガイド数字と広告表現を、宣伝抜きで読み解く

継続者だけの成果に残る生存者バイアス

生存者バイアスとは、追跡に残った対象へ選択が偏ることで、開始者全体の結果を読み違える問題です。開始、完了、回答の各段階で分母を明示します。

定義

生存者バイアスという用語は、追跡に残った対象へ選択が偏ることで、開始者全体の結果を読み違える問題を指します。開始、完了、回答の各段階で分母を明示します。継続できた人の成績を、途中で離れた人も含む結果と同一視しないことが出発点です。

測り方

開始人数、途中の離脱人数、各時点の測定人数を別々に記録します。残ることに結果や体調が関係するかを検討します。継続者の成績という記述と、開始者全体に提供した場合の結果という因果の問いを分けます。

判断が変わる六つの場面

分母が変わる

仮想例:開始100人のうち完了40人で30人が目標達成した。75%は完了者の割合であり開始者全員の達成率ではない。残る60人の結果の有無を確かめます。

体調で離脱

仮想例:負担を感じた人ほど測定に来なくなった。継続者の安全性や満足度だけでは負担を過小に見せうる。中断理由と有害事象の追跡を確かめます。

成功談の抽出

仮想例:良い結果の人だけ体験談に応募した。体験談への応募と継続という二段階の選択が重なる。応募者と全利用者の関係を確かめます。

観測の逆転

仮想例:達成した人ほど測定をやめた。欠測が悪い結果だけに偏るとは限らず方向を推測で決めない。離脱時の状態と連絡記録を確かめます。

重みで補う

仮想例:継続確率から追跡者に重みを付ける。観測した情報で選択を説明できるなどの条件が必要。追跡確率のモデルと極端な重みを確かめます。

対象の問い

仮想例:完了者向けの実施条件を説明したい。記述の対象を明確にすれば開始者全体への主張と区別できる。対象期間と選択基準を確かめます。

基本の計算と適用条件

開始100人、完了40人、完了者の達成30人という仮想記録を使います。完了者に限定した達成割合は30/40=75%です。一方、開始者の中で達成が確認できた割合は30/100=30%です。この30%を全開始者の真の達成率と呼ぶには、残る60人についての情報が必要です。分母の違う二つの割合は、違う問いへ答えています。

未観測の60人が全員未達なら開始者の達成率は30%、全員達成なら90%になります。これは未知の結果を極端に設定した算術上の範囲で、現実のもっともらしさを示す範囲ではありません。途中でやめた理由や一部の追跡結果を得られるなら、その情報を使った別の仮定を検討できます。最初から全員を失敗と扱うことも一つの仮定です。

中断の理由は、達成して不要になった、負担が高かった、転居した、連絡が取れなかったなどに分けます。理由を取得できた人だけでも選択された対象なので、未確認の欄を残します。理由と最終結果は同じではなく、転居した人の成果を想像して埋めることはしません。理由を整理する目的は、どのような欠測過程を考えるべきかを具体化することです。

次の調査では、介入を中断しても結果を追える設計を検討します。提供を続けることへの同意と、評価に連絡することへの同意を整理し、本人の意思を尊重して追跡を計画します。完了者の体験談を紹介する場合は、完了者の条件と、選んだ例の範囲を示します。体験談を集める手順の改善と、全開始者の平均を推定する方法の改善は別々に考えます。

この考え方で読める広告

参加者の9割が継続したというダイエット広告

仮想例:申込み100人、実際の開始80人、半年後に回答した人40人、そのうち継続中36人という広告を考えます。36/40は90%ですが、開始80人に対して確認できた継続者は45%です。回答しなかった40人が全員やめたとも全員続けたとも分かっていません。回答者という最後の集団だけを参加者と呼ぶと、募集から回答までの選択が見えなくなります。

開始時点を分母とする継続率には、回答のない人の追跡が必要です。回答のない人がすべて非継続なら36/80=45%、全員継続なら76/80=95%という範囲になります。これは信頼区間ではなく、未確認者の状態を両極へ置いた範囲です。体調不良や負担のために回答しない人が多いかを調べると、どの仮定が現実的かを検討できます。

広告の参加者フローを、募集名簿、開始記録、終了測定、回答記録の順に追います。各段階で人数が減った理由が分類されていなければ、同じ分母を使っているか判断できません。回答者だけの割合を図示する場合は、未回答人数が図の外へ隠れていないかも読みます。

数値で確かめる

観測者の半数が改善した仮想例です。観測されない人を全員非改善とする下限と、全員改善とする上限を示します。未観測の結果に関する範囲であり、信頼区間や未観測者の実測値ではありません。

開始人数観測人数観測された改善人数全体の下限 %全体の上限 %
100402020.080.0
100603030.070.0
100804040.060.0
1001005050.050.0

混同しやすい判断を分ける

欠測値

離脱後の結果がない状態と、継続者だけを選んだ解析の対象を区別する。 欠測値の解説。

割付に基づく解析

元の割付を保つ比較でも、結果の欠測による選択は別に扱う。 割付に基づく解析の解説。

計画遵守者の解析

計画を守った人だけの選択が、継続者の結果をよく見せる可能性を検討する。 計画遵守者の解析の解説。

出典

よくある質問

生存者バイアスとは何ですか

生存者バイアスは、残った人や観測できた対象だけを見て、開始した全体の性質を読み違える選択の偏りです。

離脱した人は全員失敗として数えますか

一律には決めません。離脱後の結果を追跡し、不明な結果について仮定を変えた範囲も示します。

継続者だけの満足度は使えませんか

継続者の評価としては読めます。開始者全体の満足度へ広げるには、離脱者や非回答者の情報が必要です。

あわせて読みたい