实体
Retrieval Enhanced Transformer
Retrieval Enhanced Transformer
PulseAugur coverage of Retrieval Enhanced Transformer — every cluster mentioning Retrieval Enhanced Transformer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
架构检索：大语言模型的新范式
架构检索方法将文档查找直接嵌入模型架构中，这与将检索文本粘贴到提示中的标准RAG不同。该方法旨在通过一个专门的机制来处理检索到的内容，而不改变主序列长度，从而降低注意力成本并提高效率。kNN-LM和DeepMind的RETRO等示例通过内插输出分布或使用分块交叉注意力来整合外部知识，而不会不成比例地增加计算复杂度。
-
Eugene Yan 精选语言模型论文供学习小组参考
Eugene Yan 整理了一份基础语言模型论文的阅读清单，旨在促进小组学习会议。该清单包括了“Attention Is All You Need”、“BERT”和“GPT-3”等开创性论文，并附有对其核心贡献的简要总结。Yan 还提供了如何阅读研究论文的指导，并鼓励社区贡献来完善该清单。