大模型处理长文本时的“内存焦虑”问题迎来新解决方案。东京AI初创公司Sakana AI近日发布了两项突破性技术：Text-to-LoRA（T2L）和Doc-to-LoRA（D2L）。这两项技术基于创新的“超网络”架构，允许大语言模型无需重新训练，即可在极短时间内内化超长文档或学习新任务。

长期以来，开发者面临两难：将长文档直接输入模型会导致响应变慢且内存消耗巨大，而对模型进行全参数微调则成本高昂。Sakana AI提供了第三种方案——通过一次性预训练生成极小的低秩适应（LoRA）权重插件，实现低成本、高效率的模型适配。

其中，Doc-to-LoRA技术尤为突出。传统方法处理长文档时，模型需要占用大量显存来存储信息。而D2L技术能将文档信息“消化”进一个体积极小的插件中，从而将内存需求大幅降低。该技术处理文档的速度也得到极大提升，仅需不足一秒即可完成。此外，它还能让模型处理比其原生上下文窗口长数倍的文本，并在信息检索测试中保持高准确率。

另一项技术Text-to-LoRA则提升了模型的可定制性。用户仅需用自然语言描述一个任务，系统便能自动生成一个专属的性能增强插件。研究表明，这种方式生成的适配器在数学和逻辑推理等任务上表现优异。

令人意外的是，研究还发现D2L技术展现出强大的跨模态能力。通过将视觉信息映射到纯文本模型的参数中，可使文本模型具备一定的图像理解能力。Sakana AI的这项成果，有望降低个人与企业定制私有AI模型的门槛，并为开发更轻量、更通用的AI系统提供新思路。