統計 - 科恩 Kappa 係數

科恩 Kappa 係數是一個統計量，用於衡量定性（分類）專案的評判者間一致性。它通常被認為比簡單的百分比一致性計算更穩健，因為 k 考慮了偶然發生的一致性。科恩 Kappa 係數衡量的是兩位評判者將 N 個專案分類到 C 個互斥類別中的一致性。

科恩 Kappa 係數的定義和公式如下：

公式

其中：

• ${p_0}$ = 評判者之間觀察到的相對一致性。

• ${p_e}$ = 偶然一致性的假設機率。

使用觀察到的資料計算每個觀察者隨機說出每個類別的機率來計算 ${p_0}$ 和 ${p_e}$。如果評判者完全一致，則 ${k}$ = 1。如果評判者之間除偶然一致性（由 ${p_e}$ 給出）外沒有其他一致性，則 ${k}$ ≤ 0。

示例

問題陳述：

假設您正在分析與 50 人申請資助相關的數 據。每份資助提案由兩位評審閱讀，每位評審對提案都說“是”或“否”。假設不一致計數資料如下所示，其中 A 和 B 是評審，左斜對角線上的資料顯示一致計數，右斜對角線上的資料顯示不一致：

計算科恩 Kappa 係數。

解決方案：

請注意，有 20 份提案同時被評審 A 和評審 B 批准，有 15 份提案同時被兩位評審拒絕。因此，觀察到的比例一致性為：

為了計算 ${p_e}$（隨機一致的機率），我們注意到：

• 評審 A 對 25 個申請者說“是”，對 25 個申請者說“否”。因此，評審 A 50% 的時間說“是”。

• 評審 B 對 30 個申請者說“是”，對 20 個申請者說“否”。因此，評審 B 60% 的時間說“是”。

使用公式 P(A 和 B) = P(A) x P(B)，其中 P 是事件發生的機率。

他們倆隨機都說“是”的機率是 0.50 x 0.60 = 0.30，他們倆都說“否”的機率是 0.50 x 0.40 = 0.20。因此，隨機一致的總機率 ${p_e}$ = 0.3 + 0.2 = 0.5。

現在應用科恩 Kappa 公式，我們得到：

計算器