PulseAugur
中
实时 13:04:57

Gated DeltaNet 通过 delta 规则和遗忘门提升高效 VLM 内存

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员详细介绍了 Gated DeltaNet，这是一种高效视觉语言模型（VLM）的新方法，它采用具有固定大小内存矩阵的线性时间递归。该方法由 MIT 和 NVIDIA 的 Yang 等人开发，通过采用 delta 规则进行纠错写入和学习到的遗忘门，解决了传统 Transformer 和其他线性注意力模型的局限性。Gated DeltaNet 在完美跟踪排列方面表现出独特的能力，在该特定任务上优于 Mamba-3 等模型，这对于处理图像和视频数据产生的高 token 数量至关重要。 AI

影响 引入了一种新颖的 VLM 内存机制，可以提高需要长期上下文跟踪的任务的效率和性能。

排序理由 详细介绍高效 VLM 新算法方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Gated DeltaNet 通过 delta 规则和遗忘门提升高效 VLM 内存

报道来源 [1]

  1. Towards AI TIER_1 English(EN) · Jun Nishimura ·

    交换即是映射：Qwen高效VLM背后的Delta规则

    <p><em>A linear-time recurrence has one fixed-size matrix for memory — no growing KV-cache. That sounds like a hard limit on what it can remember, yet a good write rule makes it the efficiency engine inside modern systems like Qwen — including their vision-language models, where …

相关实体

相关话题