新的 SV-Attention 为 AI 模型提供认证选择和精确遗忘功能

研究人员推出了一种新颖的 AI 模型记忆机制——支持向量注意力（SV-Attention），该机制利用了源自支持向量机的最大间隔方法。这种方法允许对 token 进行认证选择和精确遗忘，这意味着可以从模型的记忆中精确移除特定数据点，而不会影响其他输出。实验表明，与标准注意力机制相比，SV-Attention 在真实数据流上实现了更高的召回率和更好的性能，同时还展示了手术式遗忘和病人记录删除等能力。 AI

影响 为 AI 模型引入了一种新颖的记忆机制，该机制允许精确删除数据并提高召回率。

排序理由 该集群包含一篇详细介绍 AI 模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• enwik8
• MIMIC-IV
• Support Vector Attention
• support vector machine
• SV-Attention
• TinyStories
• Transformer++

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →