斯坦福：Cartridges将海量语料库压缩为轻量化虚拟缓存

这项研究介绍了一种名为 Cartridges 的创新方法，旨在降低大型语言模型在处理超长文本时的内存成本。传统上，模型通过上下文学习（ICL）来处理长文档，但这会消耗极大的显式内存并降低运行速度。研究人员开发了一种名为 Self-Study 的训练方案，通过生成合成对话并进行上下文蒸馏，将海量语料库压缩为轻量化的虚拟缓存。这种方法在大幅减少内存占用的同时，能保持模型处理多样化查询的灵活性。实验证明，Cartridges 相比传统方案能节省高达 38.6倍 的内存，并将处理效率提升 26.4倍。此外，该技术还支持将不同的知识模块进行自由组合，且无需重新训练即可扩展模型的有效处理长度。