- 5点尺度の選択肢を上下反転すると満足度が90%→82%。反転時は「非常に不満」が意図せず選ばれたケースが約半数。
- 患者満足度調査3件（N=1,280）で、回答者の40〜60%が黙従傾向。バイアスは学歴・収入が低い群で最大だった。
- 同意/不同意型の質問は、項目固有型の質問より回答の質が「はるかに低い」（多特性多方法の検証）。
- 12,000人・16調査のシミュレーションで、無回答バイアスと回答率のあいだにほとんど関係がなかった。
- 反証。400人の比較では形式の差は小さく、「黙従バイアスへの懸念は誇張されてきた可能性がある」とされた。
よく言われていること——「利用者の92%が効果を実感」という数字は、アンケートの結果だから客観的だ。
研究が示していること——5点尺度の選択肢を上下ひっくり返すだけで、満足度は90%から82%に下がりました。同じ人に、同じことを聞いても、です。
選択肢をひっくり返すと、8ポイント下がる
2024年、ヒューマン・コンピュータ・インタラクションの国際会議で発表された研究から始めます（Pielot ら, 2024, CHI 2024）。
調べたのは、アンケート・プラットフォームによくある「選択肢の順序をランダムに反転する」機能の影響です。
| 研究 | 結果 |
|---|---|
| 研究1 | 縦並びの選択肢を反転させると、満足度が90%から82%へ有意に低下 |
| 研究2 | 回答者に自分の回答を確認させたところ、反転した尺度では「非常に不満」が意図せず選ばれていたケースが約半数 |
| 研究3 | 原因——回答者は肯定的な選択肢が上にあると期待しており、質問に十分な注意を払っていない。加えて「満足」と「不満」のつづりが似ている |
同じ質問、同じ回答者、違うのは選択肢の並び順だけ。それで8ポイント動きました。
——著者らの推奨は「視覚的に似た端点ラベルを持つ縦並びの尺度では、肯定的な選択肢を上に置くこと」です。
逆に言えば、肯定的な選択肢を上に置いた調査は、数字が高く出ます。
順序の効果は、他でも報告されています。降順（肯定から否定へ）の回答尺度は、昇順の尺度より肯定的な回答を多く生む——これは十分な量の研究が示している、と整理されています（Chyung ら, 2018, Performance Improvement）。
「そう思う」に丸をつけてしまう
次に、より根本的な問題です。
黙従反応（acquiescence）——内容にかかわらず、意見の記述に同意してしまう傾向のことです。
1978年、患者満足度調査での黙従反応を3つの独立した調査（N = 1,280）で検討した研究があります（Ware, 1978, Medical Care、223引用）。
- 3つの調査を通じて、回答者の40〜60%が何らかの程度の黙従反応を示した
- 2〜10%が、注目に値する強い黙従傾向を示した
- 肯定的な文言の項目から算出した満足度得点には、有意な上方バイアスがあった
- 否定的な文言の項目から算出した得点には、有意な下方バイアスがあった
- これらのバイアスは、学歴や収入が低いと報告した群で最大だった
そして、この研究が示した最も重要な点です。
「教育水準の異なる群の平均満足度得点は、黙従反応によって、肯定的な文言の項目では群間差が過大評価され、否定的な文言の項目では群間差がまったく検出されなくなるほどにバイアスされた」（Ware, 1978）
対処法も示されています。肯定的な文言と否定的な文言の両方を含む「均衡尺度」は、黙従反応と相関しないか、わずかにしか相関しませんでした。
「そう思いますか」と聞くこと自体の問題
黙従反応は、質問の形式と直結しています。
| 形式 | 例 |
|---|---|
| 同意/不同意型（A/D） | 「このサービスに満足している」に、そう思う〜そう思わない で答える |
| 項目固有型（IS） | 「このサービスにどの程度満足していますか」に、非常に満足〜非常に不満 で答える |
2010年、無作為割付の被験者間実験と多特性多方法アプローチを組み合わせた研究の結論です（Saris ら, 2010, Survey Research Methods、280引用）。
「同意/不同意型の評定尺度質問への回答は、比較可能な項目固有の選択肢を提供する質問への回答より、はるかに質が低かった」（Saris ら, 2010）
著者らは、同意/不同意型の尺度が社会科学で「非常に人気がある」一方、50年以上の研究が、黙従から生じるバイアスを記録してきたと書いています。
より新しい研究でも、160のテストにわたって、黙従バイアスが構成概念間の関係の大きさを著しく歪め、符号の誤りさえ生みうることが示されています（Clifford ら, 2026, Political Behavior）。
ラベルと numbering でも変わる
選択肢に何と書くか、番号をつけるかでも、結果が変わります。
5,351人の無作為標本を5条件に割り付けた研究の結果です（Moors ら, 2014, Sociological Methodology）。
| 比較 | 結果 |
|---|---|
| 端だけラベル（両端だけに言葉、中間は数字） 対 全部にラベル | 端だけラベルのほうが、極端な回答が多い |
| 双極尺度（例：非常に悪い〜非常に良い） 対 同意型尺度 | 双極尺度のほうが、極端な回答が多い |
| 黙従反応 | 条件による有意差はなかった |
調査研究の到達点をまとめた総説（3,168引用）も、「評定尺度の点につける言語ラベルの、驚くべき効果が特定されており、尺度のラベル付けに最適な取り組みが示唆されている」と記しています（Krosnick, 1999, Annual Review of Psychology）。
同じ総説は、もう一つ重要な指摘をしています。
「回答者は、日常会話の規範に基づいて質問を解釈する。したがって、その慣習への違反が誤差を生む」（Krosnick, 1999）
——回答者は、質問文を「会話」として読んでいます。「この質問を聞くということは、こう答えてほしいのだろう」という推測が働きます。
「逆転項目を入れればよい」のか
黙従対策の定番は逆転項目——一部の質問をわざと否定形にする——です。これにも代償があります。
1,132人を対象に、同じ尺度の4つの版を比較した研究の結果です（Zeng ら, 2020, Frontiers in Psychology）。
- 肯定と否定を混ぜた版は、肯定のみ・否定のみの版より、内的一貫性が低かった
- 混合版は、因子の数も多くなった
- 否定的な文言による方法効果は、肯定的な文言によるものより強かった
4,192人・7尺度を対象とした別の研究でも、否定的項目を同等の肯定的項目に変えると、信頼性が系統的かつ有意に上昇し、因子構造も改善したという結果が出ています（Dodeen, 2022, Journal of Psychoeducational Assessment）。
つまり、こういう板挟みです。
逆転項目を入れない → 黙従バイアスがかかる
逆転項目を入れる → 尺度の信頼性と構造が悪化する
——どちらにも代償があります。「ちゃんとしたアンケート」という状態が、そもそも簡単には作れません。
約6,000人を対象とした実験では、回答尺度の形式（5点か、中点なしの4点か）は黙従反応に影響しませんでした。一方、項目の文言を単純にすることは、黙従に帰属する分散を減らしました。そしてこの効果は、学歴の低い回答者でより強く現れました（Rammstedt ら, 2023, Personality and Individual Differences）。
「いつも同じところに丸をつける人」がいる
黙従以外にも、回答の癖があります。
EU 11か国の代表標本を用いた研究は、5つの形式を整理しています（Baumgartner & Steenkamp, 2001, Journal of Marketing Research、1,307引用）。
| 反応スタイル | 中身 |
|---|---|
| 黙従 | 内容にかかわらず同意する |
| 逆黙従 | 内容にかかわらず同意しない |
| 極端反応 | いつも尺度の両端を選ぶ |
| 中点反応 | いつも真ん中を選ぶ |
| 非随伴反応 | 質問の内容と無関係に答える |
著者らは、これらが尺度得点に系統的な影響を与えることを示しました。影響の大きさは、2つの尺度特性の関数になります——逆転項目の割合と、尺度の平均が回答尺度の中点からどれだけ離れているかです。
さらに重要な所見があります。
「尺度間の相関が、反応スタイル成分間の相関に応じて、上にも下にもバイアスされうる」（Baumgartner & Steenkamp, 2001）
——「満足度が高い人ほど継続率も高い」といった関係も、反応スタイルによって作られている可能性があります。
そして著者らは、よく使われるマーケティング尺度の二次分析で、反応スタイルへの関心が明らかに欠如していたとも指摘しています。
反応スタイルには文化差もあります。大規模な異文化調査を比較した研究では、家族集団主義が高く、不確実性回避を好む国で、個人に関連する項目への黙従が高いという関係が見出されました（Smith, 2004, Journal of Cross-Cultural Psychology、545引用）。
著者は「各国の黙従の指標には実質的な文化的意味があり、国レベルの分析から除去するのではなく、文化的力学の分析に組み込むべきだ」と主張しています。
——つまり黙従は「誤差」ではなく「情報」かもしれないという立場です。ただしこれは、国際比較の文脈での議論です。
誰が答えたのか
ここまでは「どう聞いたか」の話でした。次は「誰が答えたか」です。
広告でよく見るのは「利用者アンケート n=○○」という表記です。この n は、声をかけた人数ではなく、答えた人数です。
起業家を対象とした調査研究の系統的レビュー（142論文・180の調査）は、次のように書いています（Scheaf ら, 2022, Strategic Entrepreneurship Journal）。
「平均的な起業家調査では、接触した人のおよそ40%が回答する。ここで重要な問いが生じる——回答しなかった起業家について、我々は結論を出せるのか」
ただし、回答率が低いこと自体は問題ではない
直感に反する所見があります。
12,000人を対象とした16の同一調査のデータを用いて、回答率を下げたときの無回答バイアスをシミュレートした研究の結果です（Hendra & Hill, 2019, Evaluation Review、267引用）。
「結果は、調査の無回答バイアスと回答率のあいだに、ほとんど関係がないことを示唆する」
「また、高い回答率の追求は実査期間を長引かせ、それが他の測定上の問題を生みうることも示している」（Hendra & Hill, 2019）
同じ趣旨は、調査方法論の総説でも指摘されています——「低い回答率の研究に対する長年の偏見に、新しい知見が挑戦している」（Krosnick, 1999）。
整理すると、こうなります。
回答率が高い ≠ バイアスが小さい。
回答率が低い ≠ バイアスが大きい。
——重要なのは「回答した人と、しなかった人が、どう違うか」です。そして広告の「n=○○」は、その情報を何も与えません。
実際に問題なのは、「誰に声をかけたか」のほうです。継続している利用者だけに配れば、やめた人の回答は最初から入りません。
反証——懸念は誇張されているかもしれない
公平のために、逆方向の所見も挙げます。
2025年、ギリシャの公立病院で入院患者400人を2群に無作為に割り付け、同じ内容を同意型と項目固有型の2形式で聞いた研究です（Aletras ら, 2025, Healthcare）。
- 多くの項目で、回答の分布に違いが見られた（中央値、肯定的回答の割合）
- しかし、その差の大きさは一般に小さかった
- 天井効果について、どちらの形式も優れていなかった
- 黙従バイアスの一貫した証拠は見つからなかった
著者らの結論は「項目の回答形式は報告される満足度得点に影響するように見えるが、意思決定にとって実際上の影響はむしろ限定的である。さらに、黙従バイアスへの懸念は、医療の文脈では誇張されてきた可能性がある」というものです（Aletras ら, 2025）。
リッカート尺度そのものについても、同様の所見があります。442の行動・人口統計群に属する125,387人の回答を分析した研究では、理論上は情報損失とバイアスの余地が大きいにもかかわらず、「正規分布する信念のもとでは、リッカート尺度調査における情報損失は最小限だという仮定に、強い支持が見出された」と報告されています（PLoS ONE, 2022）。
この2つの反証をどう読むか。
「アンケートの数字はすべて無意味だ」とは言えません。大規模なデータでは、形式の影響は相対的に小さくなります。
——しかし広告で使われるのは、たいてい小規模で、形式が公開されていない数字です。そこでは、この記事の前半で挙げた問題が効いてきます。
聞き方を変えれば直るのか
ここまで問題ばかり挙げてきました。対処法は、どこまで有効なのでしょうか。
891人のラテン系電話調査回答者を4群に無作為に割り付けた実験があります（Davis ら, 2023, Quality & Quantity）。面接の方式（会話的か標準化か）と回答形式（同意型か非同意型か）を交差させた設計です。
| 比較 | 結果 |
|---|---|
| 会話的面接 対 標準化面接 | 会話的面接のほうが黙従が少ない（p < 0.001） |
| 双極（不同意/同意） 対 単極（同意を問わない） | 差がなかった |
録音を分析したところ、会話的面接の面接者は「回答者に混乱の証拠がない場合でも質問を明確化し、回答の対応づけを手助けする」ことで黙従を減らしていました。
この結果の含意は、けっこう重いものです。
効いたのは「選択肢の作り方」ではなく「人が質問を説明したこと」でした。
——紙やウェブで配るアンケートでは、この対処が使えません。広告用のアンケートは、ほぼすべてそちらです。
自己記述型の尺度（「この記述はあなたにどの程度当てはまりますか」）を使う方法も検討されています。郵送調査での比較では、社会的に望ましいとされない、肯定的な話題の質問については、自己記述型が同意型を上回りました。一方、否定的な話題の質問では、自己記述型の推定値が同意型より有意に否定的になりました（Timbrook ら, 2020, International Journal of Market Research）。
著者らは、この非対称の理由を「自己記述尺度は単極で否定的な選択肢が1つしかないのに対し、双極の同意型尺度は否定的な選択肢を2つ持つため」と説明しています。
選択肢の「数」の非対称が、結果を動かしているという指摘です。
——「とても満足／満足／ふつう／不満」という4択なら、肯定2・中立1・否定1です。これだけで数字は肯定側に寄ります。
791人を対象に複数の方法効果を同時に検証した研究でも、項目の文言と確証バイアスが、平均値・モデル適合・測定不変性に影響したことが確認されています（Mandić ら, 2021, Revija za sociologiju）。
では、どう読めばよいのか
| 研究で分かっていること | 読むときの意味 |
|---|---|
| 選択肢の並び順で8ポイント動く | 質問票が公開されていない数字は、比較できません |
| 回答者の40〜60%が黙従傾向を示す | 「そう思う」型の質問は、数字が高く出ます |
| バイアスは低学歴・低収入の群で最大 | 誰に聞いたかで、偏りの大きさが変わります |
| 同意型は項目固有型より質が低い | 「〜だと思いますか」より「どの程度ですか」 |
| 回答率と無回答バイアスはほぼ無関係 | 「n=500」は品質の保証になりません |
| 回答者は質問を「会話」として読む | 聞き方が、期待する答えを伝えてしまいます |
| 逆転項目を入れると信頼性が下がる | 完璧なアンケートは、そもそも作れません |
| 形式の影響は大規模データでは小さい | すべてを疑う必要はありません |
実務的に確認できるのは、次の4点です。
① 誰に配ったか——全利用者か、継続者だけか、来店した人だけか
② 何人に配って、何人が答えたか——分母が書いてあるか
③ どう聞いたか——質問文と選択肢が公開されているか
④ いつ聞いたか——施術直後か、3か月後か
——この4つのどれも書かれていない数字は、比較の対象になりません。
なお、口コミの記事と打消し表示の記事で扱った内容とあわせて読むと、広告の数字の読み方がひととおり揃います。
「答えなかった人」をどう扱うか
無回答バイアスの測り方についても、実務的な手順が示されています。
医学教育の分野向けに書かれたガイドは、次の3層で整理しています（Phillips ら, 2016, Medical Teacher）。
| 層 | 中身 |
|---|---|
| 単位無回答 | 調査そのものに答えなかった |
| 項目無回答 | 調査には答えたが、特定の質問を飛ばした |
| 無回答バイアス | 回答した人と、しなかった人が体系的に違う |
3つ目を測る簡便な方法として、回答者と非回答者で、既知の属性（年齢、性別、利用期間など）を比べるという手順が挙げられています。
広告のアンケートで、これが示されていることはまずありません。
——しかし事業者側は、この情報を持っています。会員データベースがあるからです。
「回答した人としなかった人で、継続期間に差がなかった」という一行があるかどうか。それが誠実さの目安になります。
利害関係の明示
このサイトは、立川のヨガ・ピラティススタジオ「オンザショア」およびボクササイズのプログラムと同じ運営です。利用者アンケートは、運動施設が最もよく使う訴求材料の一つです。
この記事の基準を自分たちに当てはめると、当運営も「何人に配って何人が答えたか」「質問文と選択肢はどうだったか」を公開せずにアンケート結果を使ってきました。この記事を書いた以上、今後それをやるなら4点セットを添えるべきだ、というのが自分たちへの帰結です。
この記事の限界
- 「アンケートの数字は信用できない」とは言えません。形式の影響は、大規模データでは相対的に小さくなるという所見があります。
- 黙従バイアスの大きさについては、研究間で結論が分かれています。「誇張されてきた可能性がある」という報告もあります。
- 紹介した研究の多くは、学術調査や患者満足度調査を対象としています。商品の広告用アンケートを直接検証したものではありません。
- 「90%が82%になる」という数字は、1つの研究の所見です。すべての尺度で同じ幅とは限りません。
- 1978年の研究を引用しています。患者満足度調査の文脈であり、現在のオンライン調査とは条件が違います。
- 黙従バイアスには文化差が報告されています（Smith, 2004）。日本での大きさは、この記事では扱えていません。
- この記事は抄録に基づいており、原論文の全文は確認していません。
出典
- 【並び順で90%→82%】Pielot, M. ら (2024). Did You Misclick? Reversing 5-Point Satisfaction Scales Causes Unintended Responses. CHI Conference on Human Factors in Computing Systems. doi:10.1145/3613904.3642397
- 【回答者の40〜60%が黙従】Ware, J. E. (1978). Effects of Acquiescent Response Set on Patient Satisfaction Ratings. Medical Care. doi:10.1097/00005650-197804000-00005
- 【回答率とバイアスはほぼ無関係】Hendra, R. & Hill, A. (2019). Rethinking Response Rates: New Evidence of Little Relationship Between Survey Response Rates and Nonresponse Bias. Evaluation Review. doi:10.1177/0193841X18807719
- 【同意型は質が低い】Saris, W. E. ら (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods. doi:10.18148/srm/2010.v4i1.2682
- Krosnick, J. A. (1999). Survey research. Annual Review of Psychology. doi:10.1146/annurev.psych.50.1.537
- Moors, G. ら (2014). The Effect of Labeling and Numbering of Response Scales on the Likelihood of Response Bias. Sociological Methodology. doi:10.1177/0081175013516114
- Chyung, S. Y. ら (2018). Evidence-Based Survey Design: The Use of Ascending or Descending Order of Likert-Type Response Options. Performance Improvement. doi:10.1002/pfi.21800
- Baumgartner, H. & Steenkamp, J.-B. E. M. (2001). Response Styles in Marketing Research: A Cross-National Investigation. Journal of Marketing Research. doi:10.1509/jmkr.38.2.143.18840
- 【符号の誤りさえ生む】Clifford, S. ら (2026). Acquiescence Bias and Criterion Validity: Problems and Potential Solutions for Agree-Disagree Scales. Political Behavior. doi:10.1007/s11109-026-10124-z
- Zeng, B. ら (2020). How Does the Valence of Wording Affect Features of a Scale? Frontiers in Psychology. doi:10.3389/fpsyg.2020.585179
- Dodeen, H. (2022). The Effects of Changing Negatively Worded Items to Positively Worded Items on the Reliability and the Factor Structure of Psychological Scales. Journal of Psychoeducational Assessment. doi:10.1177/07342829221141934
- Rammstedt, B. ら (2023). Do simpler item wording and response scales reduce acquiescence in personality inventories? Personality and Individual Differences. doi:10.1016/j.paid.2023.112324
- Scheaf, D. J. ら (2022). Non-response bias in survey-based entrepreneurship research. Strategic Entrepreneurship Journal. doi:10.1002/sej.1453
- 【反証・誇張されてきた可能性】Aletras, V. ら (2025). Patient Satisfaction Measurement: A Comparison of Likert and Item-Specific Response Options Scales. Healthcare. doi:10.3390/healthcare13233017
- 【反証・情報損失は最小限】(2022). Information loss and bias in likert survey responses. PLoS ONE. doi:10.1371/journal.pone.0271949
- Smith, P. B. (2004). Acquiescent Response Bias as an Aspect of Cultural Communication Style. Journal of Cross-Cultural Psychology. doi:10.1177/0022022103260380
- Davis, R. E. ら (2023). An Ounce of Prevention: Using Conversational Interviewing and Avoiding Agreement Response Scales to Prevent Acquiescence. Quality & Quantity. doi:10.1007/s11135-023-01650-7
- Timbrook, J. ら (2020). Are self-description scales better than agree/disagree scales? International Journal of Market Research. doi:10.1177/1470785320971592
- Phillips, A. W. ら (2016). Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Medical Teacher. doi:10.3109/0142159X.2015.1105945
- Mandić, L. ら (2021). Is It Biased? Empirical Analysis of Various Phenomena That Affect Survey Results. Revija za sociologiju. doi:10.5613/rzs.51.2.3
よくある質問
「利用者の92%が実感」という数字は信用できますか？
質問文と選択肢が公開されていなければ、比較できません。選択肢の並び順だけで満足度が8ポイント動いた実験があります。
サンプル数が大きければ信頼できますか？
12,000人を対象としたシミュレーションでは、無回答バイアスと回答率のあいだにほとんど関係がありませんでした。人数は品質の保証になりません。重要なのは「答えた人と答えなかった人がどう違うか」です。
どんな聞き方だと数字が高く出ますか？
「〜だと思いますか」という同意/不同意型は黙従バイアスを受けやすく、数字が高く出ます。また、肯定的な選択肢を上に置いた尺度、降順の尺度、選択肢の肯定側が多い設計も、いずれも数字を押し上げます。
逆転項目を入れれば公平になりますか？
黙従は減りますが、代償があります。肯定と否定を混ぜた尺度は、どちらか一方だけの尺度より内的一貫性が低く、因子構造も複雑になることが報告されています。
確認すべき点は何ですか？
4点です。誰に配ったか、何人に配って何人が答えたか、質問文と選択肢はどうだったか、いつ聞いたか。どれも書かれていない数字は比較の対象になりません。