AI轻松学-07-深入浅出解析RAG

Facebook AI Research 等团队提出并系统化地介绍了Retrieval-Augmented Generation（RAG）​​，将预训练的序列到序列生成模型（本文以 BART-large 为生成器）与基于密集向量索引的检索器（DPR）结合，形成可端到端微调的混合记忆生成模型。文中提出两种边缘化检索文档的变体——RAG-Sequence（对整条输出使用同一文档）与 RAG-Token（每个生成词可条件于不同文档），并说明了训练、解码与检索器协同优化的实现细节。结果显示 RAG 在若干公开数据集上达到了或超过了当时的最先进水平，同时生成内容更具事实性、具体性与多样性。论文还展示了可通过“热交换”文档索引更新模型知识的实用优势，并讨论了检索学习、检索崩溃与社会影响等问题，表明将参数化记忆与非参数化文本存储结合是提升知识型 NLP 任务能力的有效途径。在小宇宙查看该单集文稿