Partial VOROS:面向精度与容量约束二元分类器的成本感知性能指标
ROC曲线被广泛用于评估二元分类器。然而,在某些应用场景中,例如用于监测住院患者的警报系统,传统的ROC分析无法满足两个关键的部署需求:一是对精度施加约束以避免误报疲劳,二是对预测正例的数量设定上限以反映医院工作人员的处理能力。此外,常用的曲线下面积指标也无法反映假阳性和假阴性之间的不对称成本。 本文同时解决了这三个问题。首先,研究展示了满足精度和容量约束的分类器子集在ROC空间中占据一个可行区域,并确立了该区域的几何形状。随后,定义了“次优分类器的部分面积”,这是一个与成本单调相关且仅考虑可行区域的性能指标。将该面积在期望的成本参数分布上进行平均,便得到了ROC曲面上的部分体积,即Partial VOROS。 在基于多个数据集的体征历史数据预测死亡风险的实验中,这种成本感知的指标在评估院内警报分类器的排序方面,表现优于其他替代方法。该研究为在具有实际约束的场景下评估和选择分类器提供了新的理论框架和实用工具。


