Panini:通过结构化记忆在Token空间实现持续学习,效率超越RAG

发布时间:2026-02-19 04:01

Panini是一种新颖的非参数化持续学习框架,旨在解决语言模型处理训练数据之外内容(如新文档、动态知识)的挑战。与常见的检索增强生成方法不同,Panini不存储原始文档块,而是将基础模型固定,通过将每次新经验整合到一个持续积累和巩固的外部语义记忆状态中进行学习。

该框架的核心是生成语义工作空间,这是一种实体和事件感知的问题-答案对网络。该网络足以让大语言模型重建经历过的情境,并通过在网络上的推理链挖掘潜在知识。给定查询时,Panini仅遍历这个持续更新的语义工作空间,而非原始文档或文本块,并检索最可能的推理链。

这种方法避免了检索增强生成中存在的低效计算问题,即模型重复对相同文档进行推理。同时,它也减少了因检索不相关上下文而导致的未支持生成。研究结果表明,在写入时对经验进行高效且准确的结构化,能在读取时同时带来效率和可靠性的提升。该框架支持完全开源的工作流程。

客服微信
客服微信