一项新研究通过行为框架深入分析了大语言模型（LLM）的事实性错误根源。传统评估将所有错误等同对待，而该研究提出的框架能在事实层面进行剖析，区分错误是由于知识缺失（空书架）还是已编码知识无法有效访问（丢失的钥匙）。

研究团队引入了WikiProfile基准，通过基于网络搜索的自动化流程构建。该框架将每个事实归类为是否被编码，并进一步评估其可访问性：无法回忆、可直接回忆或仅能通过推理计算（思考）回忆。

通过对多个主流大语言模型的大量响应进行分析，研究发现，在测试基准上，前沿模型的知识编码已接近饱和水平，表明模型内部已存储了大量事实知识。然而，检索（回忆）能力仍是主要瓶颈：许多先前被归因于知识缺失的错误，实际上源于模型无法有效访问已编码的知识。

这些检索失败具有系统性，尤其影响长尾事实和反向问题。研究同时发现，通过推理计算（思考）可以改善检索能力，并挽回相当一部分失败案例，这表明未来的改进可能更依赖于提升模型利用已编码知识的方法，而非单纯扩大模型规模。

该研究为理解大语言模型的事实性局限提供了新视角，指出提升事实准确性的关键可能在于优化检索机制，而非持续扩展知识库。