架构检索：大语言模型的新范式

架构检索方法将文档查找直接嵌入模型架构中，这与将检索文本粘贴到提示中的标准RAG不同。该方法旨在通过一个专门的机制来处理检索到的内容，而不改变主序列长度，从而降低注意力成本并提高效率。kNN-LM和DeepMind的RETRO等示例通过内插输出分布或使用分块交叉注意力来整合外部知识，而不会不成比例地增加计算复杂度。 AI

影响 架构检索可以显著降低大语言模型中知识整合的计算成本，从而有可能实现更高效、更强大的模型。

排序理由 该条目讨论了大语言模型中检索增强生成的新架构方法，详细介绍了kNN-LM和RETRO等方法，这些都是面向研究的概念。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• Bert
• Google DeepMind
• Khandelwal
• kNN-LM
• REALM
• retrieval-augmented generation
• Retrieval Enhanced Transformer

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →