AI智能体正越来越多地被部署执行重要任务。尽管标准基准测试的准确率分数不断上升，表明技术进步迅速，但许多智能体在实践中仍然频繁失败。这种差异凸显了当前评估方法的一个根本局限：将智能体行为压缩为单一的成功指标，掩盖了关键的操作缺陷。具体而言，它忽略了智能体在不同运行中是否表现一致、能否承受扰动、失败是否可预测，以及错误严重程度是否有界。

基于安全关键工程领域的理念，本研究通过提出十二项具体指标，为AI智能体构建了一个全面的性能画像。这些指标从四个关键维度分解了可靠性：一致性、鲁棒性、可预测性和安全性。该框架旨在更细致地刻画智能体如何工作、性能如何下降以及如何失败。

研究团队在两个互补的基准测试上评估了多个智能体模型。评估发现，近期模型能力的提升仅带来了可靠性方面的小幅改进，暴露了其性能的持久局限性。这些新提出的指标与传统评估方法形成互补，为深入理解智能体的实际表现和失败模式提供了工具，推动建立更严谨的AI智能体可靠性科学。