Gated DeltaNet 通过 delta 规则和遗忘门提升高效 VLM 内存

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-02 11:30

研究人员详细介绍了 Gated DeltaNet，这是一种高效视觉语言模型（VLM）的新方法，它采用具有固定大小内存矩阵的线性时间递归。该方法由 MIT 和 NVIDIA 的 Yang 等人开发，通过采用 delta 规则进行纠错写入和学习到的遗忘门，解决了传统 Transformer 和其他线性注意力模型的局限性。Gated DeltaNet 在完美跟踪排列方面表现出独特的能力，在该特定任务上优于 Mamba-3 等模型，这对于处理图像和视频数据产生的高 token 数量至关重要。 AI

影响引入了一种新颖的 VLM 内存机制，可以提高需要长期上下文跟踪的任务的效率和性能。

排序理由详细介绍高效 VLM 新算法方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

Gated DeltaNet 通过 delta 规则和遗忘门提升高效 VLM 内存

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 详细介绍高效 VLM 新算法方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, paper; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 98 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

Towards AI TIER_1 English(EN) · Jun Nishimura · 2026-07-02 11:30

交换即是映射：Qwen高效VLM背后的Delta规则

<p><em>A linear-time recurrence has one fixed-size matrix for memory — no growing KV-cache. That sounds like a hard limit on what it can remember, yet a good write rule makes it the efficiency engine inside modern systems like Qwen — including their vision-language models, where …

本文如何被排名

报道来源 [1]

交换即是映射：Qwen高效VLM背后的Delta规则

相关实体

相关话题