统计 - 科恩 Kappa 系数



科恩 Kappa 系数是一个统计量,用于衡量定性(分类)项目的评判者间一致性。它通常被认为比简单的百分比一致性计算更稳健,因为 k 考虑了偶然发生的一致性。科恩 Kappa 系数衡量的是两位评判者将 N 个项目分类到 C 个互斥类别中的一致性。

科恩 Kappa 系数的定义和公式如下:

公式

k=p0pe1pe=11po1pe

其中:

  • p0 = 评判者之间观察到的相对一致性。

  • pe = 偶然一致性的假设概率。

使用观察到的数据计算每个观察者随机说出每个类别的概率来计算 p0pe。如果评判者完全一致,则 k = 1。如果评判者之间除偶然一致性(由 pe 给出)外没有其他一致性,则 k ≤ 0。

示例

问题陈述

假设您正在分析与 50 人申请资助相关的数 据。每份资助提案由两位评审阅读,每位评审对提案都说“是”或“否”。假设不一致计数数据如下所示,其中 A 和 B 是评审,左斜对角线上的数据显示一致计数,右斜对角线上的数据显示不一致:

  B
A 20 5
10 15

计算科恩 Kappa 系数。

解决方案

请注意,有 20 份提案同时被评审 A 和评审 B 批准,有 15 份提案同时被两位评审拒绝。因此,观察到的比例一致性为:

p0=20+1550=0.70

为了计算 pe(随机一致的概率),我们注意到:

  • 评审 A 对 25 个申请者说“是”,对 25 个申请者说“否”。因此,评审 A 50% 的时间说“是”。

  • 评审 B 对 30 个申请者说“是”,对 20 个申请者说“否”。因此,评审 B 60% 的时间说“是”。

使用公式 P(A 和 B) = P(A) x P(B),其中 P 是事件发生的概率。

他们俩随机都说“是”的概率是 0.50 x 0.60 = 0.30,他们俩都说“否”的概率是 0.50 x 0.40 = 0.20。因此,随机一致的总概率 pe = 0.3 + 0.2 = 0.5。

现在应用科恩 Kappa 公式,我们得到:

k=p0pe1pe=0.700.5010.50=0.40

Explore our latest online courses and learn new skills at your own pace. Enroll and become a certified expert to boost your career.

计算器

广告