在人工智能领域，虽然我们拥有类似《哈利·波特》中冥想盆的成熟数据库和检索系统，但模型却缺乏操作它的“魔杖”。它们像没有自主权的邓布利多，被动接受人工构建的上下文作为全部记忆。这项研究终于将魔杖交到了模型手中。

研究者提出了StateLM，这是一类配备了内部推理循环以管理自身状态的新型基础模型。该模型被赋予了一套记忆工具，如上下文修剪、文档索引和笔记记录，并训练其主动管理这些工具。通过学习动态构建自己的上下文，模型突破了固定窗口架构的限制。

在不同规模的模型上进行的实验证明了StateLM在各种场景下的有效性。在长文档问答任务中，StateLM在所有模型规模上都持续优于标准大语言模型；在聊天记忆任务中，其准确率相比标准大语言模型有显著提升。在深度研究任务中，性能差距更为明显。

最终，该方法将大语言模型从被动预测器转变为状态感知的智能体，使推理成为一个有状态且可管理的过程。StateLM代表了一种新的范式，让语言模型能够主动掌握并优化自身的上下文，为处理更复杂、更长期的任务开辟了道路。