统计 - 科恩的Kappa系数

科恩的kappa系数是衡量定性（分类）项目的评估者间协议的统计量。 通常认为它是比简单的百分比一致性计算更可靠的措施，因为k考虑了偶然发生的协议。 Cohen的kappa测量两个评分者之间的协议，每个评分者将N个项目分类为C个互斥类别。

Cohen的κ系数由以下函数定义和给出:

式

其中 -

• $ {p_0} $ =评估者之间的相对观察到的一致性。

• $ {p_e} $ =假设的机会协议概率。

使用观察数据计算$ {p_0} $和$ {p_e} $，以计算每个观察者随机地说每个类别的概率。 如果评分者完全一致，那么$ {k} $ = 1。如果评分者之间没有达到偶然期望的一致（由$ {p_e} $给出），则$ {k} 。

例子

问题陈述:

假设您正在分析与50个申请资助的群体相关的数据。 每个拨款建议由两位读者阅读，每位读者对建议说“是"或“否"。 假设分歧计数数据如下，其中A和B是读者，左对角斜度上的数据显示协议计数和对角斜率上的数据，不一致:

计算科恩的kappa系数。

解决方案:

注意，由读者A和读者B授予的20个提案以及被两个读者拒绝的15个提案。 因此，观察到的比例协议是

为了计算$ {p_e} $（随机协议的概率），我们注意到:

• 读者A对25个申请人说“是"，对25个申请人说“不"。 因此，读者A在50％的时间说“是"。

• 读者B对30个申请人说“是"，对20个申请人说“不"。 因此，读者B在60％的时间里说“是"。

使用公式P（A和B）= P（A）x P（B）其中P是事件发生的概率。

他们两个随机地说“是"的概率是0.50×0.60 = 0.30，并且他们两个都会说“否"的概率是0.50×0.40 = 0.20。 因此，随机协定的总概率为$ {p_e} $ = 0.3 + 0.2 = 0.5。

所以现在应用我们的公式Cohen的Kappa我们得到: