PulseAugur
中
实时 18:24:25
English(EN) More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval

研究论文揭示前馈网络（FFN）主动引导长上下文检索

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的研究论文探讨了前馈网络（FFN）在长上下文检索任务中的作用，打破了其仅作为参数记忆的传统观点。研究表明，FFN通过将检索状态推向或远离正确答案来主动影响检索状态，这种功能是任务条件化且层特定的。研究人员发现，FFN可以充当抑制器或放大器，其作用会根据检索模式而变化。一种基于FFN写入方向导数的诊断工具可以有效预测这种抑制行为，在Qwen2.5-7B和Qwen3.5-9B等模型上显示出显著的准确性，并在用于指导FFN缩放时提高了检索裕度。 AI

影响 通过分析FFN的行为，揭示了理解和潜在改进LLM中长上下文检索的新机制。

排序理由 学术论文，详细介绍了模型架构和行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究论文揭示前馈网络（FFN）主动引导长上下文检索

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Zhibo Yang ·

    超越记忆：任务条件签名前馈网络实现长上下文检索写入

    arXiv:2607.16254v1 Announce Type: new Abstract: FFNs are often treated as parametric memories. In long-context retrieval, however, the sharper question is not only what they store, but whether their native residual writes push the current retrieval state toward or away from the c…

相关实体

相关话题