評価者間信頼性は一致の対象から選ぶ

公開日: 2026-10-09 更新日: 2026-10-09 著者: 運営者情報

定義

評価者間信頼性という用語は、複数の評価者による同じ対象の採点がそろう程度を指します。一致率を読む際には、判定の偏りと評価者の独立性も調べます。同じ対象を採点していても、評価基準を事前に共有したかによって一致の意味は変わります。

測り方

同じ対象を各評価者が独立に評価し、対象と評価者の対応表を作ります。連続得点ならICCのモデル、絶対一致か一貫性か、単回値か平均値かを明示します。分類なら一致表と適切なカッパ等を併記します。

判断が変わる六つの場面

一定の点差

仮想例：甲は全対象を乙より2点高く採点する。順位の一貫性は高くても絶対一致は悪くなる。一貫性ICCか絶対一致ICCかを確かめます。

判定の偏り

仮想例：100人のほとんどを両者が陰性とした。単純一致率は陽性が少ない状況に影響される。陽性陰性別の一致表を確かめます。

評価者の選択

仮想例：経験豊富な二名だけで試した。その二名の結果を全ての新人へ一般化できるとは限らない。固定評価者か母集団からの標本かを確かめます。

順序の分類

仮想例：軽度と重度を三段階で分類した。一段階の差と二段階の差をどう扱うかが重みに関わる。重み付き指標の重みの指定を確かめます。

事前研修

仮想例：曖昧な判定基準を研修でそろえた。定義の共有は運用改善となるが研修前後の結果を混ぜない。研修内容と判定マニュアルを確かめます。

盲検の確保

仮想例：乙が甲の評価欄を見ながら採点した。見掛けの一致に情報共有の影響が入る。独立性と他者得点へのアクセスを確かめます。

基本の計算と適用条件

二人の評価者の判定表を作る仮想例です。40人について、両者とも陽性が8人、甲だけ陽性が6人、乙だけ陽性が2人、両者とも陰性が24人でした。単純一致は8＋24の32人で80%です。甲の陽性は14人、乙の陽性は10人となり、同じ80%の一致でも陽性と陰性の構成を合わせて読めます。

周辺の割合から偶然の一致を計算するカッパでは、この仮想例の期待一致は0.35×0.25＋0.65×0.75=0.575です。カッパは(0.8−0.575)/(1−0.575)で約0.529となります。カッパの値と一致率を並べる理由は、二つが同じ問いへ答える数字ではないからです。人数が少ないため区間の不確かさも考えます。

この表から、甲だけ陽性が乙だけ陽性より多いことが分かります。判定基準の読み方が違うのか、観測した情報が違うのかを対象別に調べます。議論して最終判定を合わせることは実務上ありえますが、独立判定の一致を調べる値には、相談前の記録を使います。相談後の合意の値を独立した信頼性と取り違えないことが重要です。

連続した点数を評価する場合には、この二値の計算をそのまま流用しません。ICCのモデルと一致の定義を、誰へ評価者を一般化したいかに対応させます。二人の特定の熟練者の平均を使う目的なのか、任意の一人が測る運用なのかで必要な指標が変わります。人数、評価者数、独立性、モデル、区間を一つの記録へまとめます。

この考え方で読める広告

専門家二人の評価が一致したという姿勢広告

仮想例：二人が同じ写真100枚を姿勢良好かどうか判定し、90枚で判定が一致したとします。両者とも良好とした写真が85枚、不良とした写真が5枚で、残る10枚では意見が分かれています。90%という率だけでは、不良な姿勢の見分け方がどれほど一致したのかは分かりません。二人の判定を交差させた表を読めば、良好の多さが全体一致率に影響することが分かります。

連続得点の比較なら一貫性と絶対一致を選びます。いつも甲が乙より2点高ければ、順位はそろっても利用者が受け取る点数は変わります。二値判定なら陽性同士、陰性同士、不一致の二方向を分けます。三段階なら軽度と中等度の違いを、軽度と重度の違いと同じ罰点にするかも決める必要があります。

広告の一致度を作った採点票について、相談前の独立した評価が残っているかを確かめます。合議してから付けた得点は、各評価者が別々に再現できる根拠にはなりません。評価者ごとの経験と、研修に使った対象が検証対象と重なっていないかも尋ねます。

混同しやすい判断を分ける

反復測定の再現性

同じ評価者が繰り返す測定と、評価者を替える測定を区別すると手順を設計しやすい。反復測定の再現性の解説。

測定誤差

評価者差は絶対単位の誤差としても読める。相対的な信頼性だけで小さな差を解釈しない。測定誤差の解説。

構成概念妥当性

複数の評価者が一致しても、判定が測りたい概念に合うことは別の問いになる。構成概念妥当性の解説。

出典

よくある質問

評価者間信頼性とは何ですか

評価者間信頼性は、同じ対象に対して複数の評価者が与える判定の一貫性です。

評価者間の一致率とカッパはどう違いますか

一致率は同じ判定の割合、カッパは偶然に期待される一致を考慮する指標です。陽性や陰性の偏りがあると両者の印象は変わります。

一致した判定なら正しいですか

正しさの証明にはなりません。二人が同じ誤った基準を使えば一致は高く、妥当性は別に評価します。