统计 - 科恩 Kappa 系数

科恩 Kappa 系数是一个统计量，用于衡量定性（分类）项目的评判者间一致性。它通常被认为比简单的百分比一致性计算更稳健，因为 k 考虑了偶然发生的一致性。科恩 Kappa 系数衡量的是两位评判者将 N 个项目分类到 C 个互斥类别中的一致性。

科恩 Kappa 系数的定义和公式如下：

公式

其中：

• ${p_0}$ = 评判者之间观察到的相对一致性。

• ${p_e}$ = 偶然一致性的假设概率。

使用观察到的数据计算每个观察者随机说出每个类别的概率来计算 ${p_0}$ 和 ${p_e}$。如果评判者完全一致，则 ${k}$ = 1。如果评判者之间除偶然一致性（由 ${p_e}$ 给出）外没有其他一致性，则 ${k}$ ≤ 0。

示例

问题陈述：

假设您正在分析与 50 人申请资助相关的数 据。每份资助提案由两位评审阅读，每位评审对提案都说“是”或“否”。假设不一致计数数据如下所示，其中 A 和 B 是评审，左斜对角线上的数据显示一致计数，右斜对角线上的数据显示不一致：

计算科恩 Kappa 系数。

解决方案：

请注意，有 20 份提案同时被评审 A 和评审 B 批准，有 15 份提案同时被两位评审拒绝。因此，观察到的比例一致性为：

为了计算 ${p_e}$（随机一致的概率），我们注意到：

• 评审 A 对 25 个申请者说“是”，对 25 个申请者说“否”。因此，评审 A 50% 的时间说“是”。

• 评审 B 对 30 个申请者说“是”，对 20 个申请者说“否”。因此，评审 B 60% 的时间说“是”。

使用公式 P(A 和 B) = P(A) x P(B)，其中 P 是事件发生的概率。

他们俩随机都说“是”的概率是 0.50 x 0.60 = 0.30，他们俩都说“否”的概率是 0.50 x 0.40 = 0.20。因此，随机一致的总概率 ${p_e}$ = 0.3 + 0.2 = 0.5。

现在应用科恩 Kappa 公式，我们得到：

计算器