实体
kNN-LM
kNN-LM
PulseAugur coverage of kNN-LM — every cluster mentioning kNN-LM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
架构检索：大语言模型的新范式
架构检索方法将文档查找直接嵌入模型架构中，这与将检索文本粘贴到提示中的标准RAG不同。该方法旨在通过一个专门的机制来处理检索到的内容，而不改变主序列长度，从而降低注意力成本并提高效率。kNN-LM和DeepMind的RETRO等示例通过内插输出分布或使用分块交叉注意力来整合外部知识，而不会不成比例地增加计算复杂度。
-
新的MoNIM方法增强了半参数语言模型
研究人员开发了一种名为混合邻居归纳记忆（MoNIM）的新方法来增强半参数语言模型。该方法重新构想了kNN-LM等模型中的非参数记忆，并将其更有效地集成到Transformer架构中。MoNIM充当一个可学习的旁路层，使模型能够学习新知识并提高其可扩展性和持续学习能力。
-
新的OCRR基准衡量AI模型通过纠正从分布变化中恢复的能力
研究人员推出OCRR，这是一个新的基准，旨在评估机器学习系统通过在线纠正从分布变化中恢复的程度。与静态基准不同，OCRR模拟了模型遇到新数据类别并必须适应的现实世界场景。该基准衡量了在应用纠正时，新类别上的准确性以及原始数据上准确性的保留情况。