ruler
PulseAugur coverage of ruler — every cluster mentioning ruler across labs, papers, and developer communities, ranked by signal.
- used by BABILong 90%
- instance of BABILong 90%
- used by LongBench: a bilingual, multitask benchmark for long context understanding 70%
- instance of LongBench-v2 70%
- developed LongBench: a bilingual, multitask benchmark for long context understanding 70%
- used by Gated DeltaNet 70%
- used by LongBench-v2 70%
- used by Gotit.pub 50%
7 天有情绪数据
-
NoteBank 增强了线性注意力模型中的长上下文回忆能力
研究人员开发了一种名为 NoteBank 的新颖技术，以增强使用线性注意力或状态空间架构的语言模型中的长上下文回忆能力。该方法充当一种无需训练的附加组件，存储输入上下文中少量逐字文本片段。当提出问题时，这些存储的片段会被重放给模型，有效地重读相关段落，并在不改变模型核心架构或需要外部组件的情况下，显著提高长上下文任务的准确性。
-
AdCoEvo系统通过协同进化的智能体实现广告投放自动化 · 追踪到2个来源
研究人员推出AdCoEvo，一个新颖的协同进化的多智能体系统，旨在自动化整个广告投放流程。该系统旨在克服当前方法的局限性，这些方法通常需要人工监督，并且难以适应动态市场条件。AdCoEvo通过在多智能体框架内实现角色专业化来达到此目的，从而能够通过实际结果的相互反馈和模型更新来持续改进投放策略。实验表明，与基于规则的基线和固定参数的多智能体系统相比，AdCoEvo显著提高了广告商的价值并降低了每次获取成本。
-
Latent Compaction 技术使用测试时训练来压缩 LLM KV 缓存
研究人员开发了一种名为 Latent Compaction 的新技术，该技术使用测试时训练来压缩大型语言模型中的键值（KV）缓存。该方法通过优化注意力输出和对数归一化器来学习特定文档的紧凑缓存，而无需访问下游问题。在 RULER 和 LongBench 等基准测试上的实验表明，与现有的压缩方法相比，检索准确性有了显著提高，该技术在 Qwen3 和 MiniCPM5 等不同模型规模和系列之间表现出可转移性。
-
Prefilling-dLLM v2 通过学习路由提升长上下文扩散模型性能
研究人员开发了Prefilling-dLLM v2，一种提高扩散语言模型在长上下文处理效率的方法。该方法涉及对模型进行持续训练，以便在块之间路由信息，而不仅仅是在推理时进行。通过引入学习路由槽和混合注意力机制，Prefilling-dLLM v2 在长达128K的RULER任务上显著优于其他稀疏方法，比次优稀疏模型准确率高出7.4个百分点。与全密集注意力相比，该优化还将解码速度提高了172倍。
-
Attic-KV 方法通过自我提问提高 LLM KV 缓存效率
研究人员开发了一种名为 Attic-KV 的新方法，可提高大型语言模型中键值（KV）缓存的效率。与需要重读整个上下文的传统方法不同，Attic-KV 采用一种带有问答对的自我提问方法，仅排练最相关的信息。这项技术显著提高了性能，尤其是在内存预算紧张的情况下，在 3% 的保留率下，性能比现有方法高出 41.9 个百分点。
-
复杂的KDA实现了线性注意力中的旋转，以进行高级状态跟踪
研究人员详细介绍了一种名为复杂KDA（CKDA）的新型线性注意力机制，该机制允许在内存更新中进行旋转，从而实现比以往线性模型更复杂的国家跟踪。该机制建立在Moonshot AI的Kimi Linear架构之上，使用带符号门和特定的更新参数来实现这些旋转，这对于计数和跟踪状态至关重要。这项发表在arXiv上的突破表明，CKDA可以表示复杂的有限群，显著增强了线性注意力模型的表达能力。
-
AI代理将使用机器可读的宪法进行治理
一种新的AI代理治理方法提出将项目规则视为代码，并将内存视为可审计账本。该系统由MCP服务器管理，使用Merkle哈希来确保规则的完整性并防止静默变异。涉及对代理子群体进行临时规则更改的实验将测量共识时间和恢复率，以在将拟议修正案合并到主宪法之前对其进行验证。
-
新的LCLM架构将LLM上下文压缩16倍，提高效率
研究人员开发了潜在上下文语言模型（LCLM），该模型在输入文本到达解码器之前将其压缩16倍，从而显著降低了内存和计算成本。这种由多所大学和国家实验室团队开发的新颖方法在长上下文基准测试中保持了高精度，并且优于现有的压缩方法。LCLM架构使用一个较小的编码器来创建压缩的“摘要向量”，并使用一个较大的解码器来处理这些向量，为处理大上下文提供了更有效的方式，特别适用于RAG系统和代理。
-
混合线性注意力提高了长上下文LLM的性能
研究人员开发了混合线性注意力（HLA），这是一种新颖的注意力机制，旨在提高大型语言模型中的长上下文建模能力。与固定的分块混合方法相比，HLA根据查询动态路由信息，允许更自适应地访问历史数据。当应用于Qwen 3.5模型时，HLA在LongBench-v2和RULER等基准测试中表现出显著的性能提升，并且在从头开始训练场景中也提高了跨越扩展上下文长度的性能。
-
新的Extender Transformer架构大幅降低了注意力内存占用
研究人员开发了一种名为Extender的新型Transformer架构，它显著减少了与注意力机制相关的内存占用。通过在标准残差连接旁边引入一个拼接通道，Extender允许后续层处理更紧凑的输入表示。该设计在短上下文任务上显示出与标准Transformer相当的准确性，并在长上下文工作负载上表现出更高的性能，同时使用的内存大大减少。
-
新的自索引注意力机制提升了 LLM 长上下文推理速度
研究人员开发了一个名为自索引注意力（Self-Indexing Attention）的新框架，旨在提高稀疏长上下文大型语言模型（LLM）推理的效率。这种无需训练的方法利用共享的变换域表示，允许使用可重用的令牌级索引，从而在预填充和解码阶段实现高效检索。该系统实现了显著的速度提升，实验表明在 5% 的注意力密度下，预填充速度最快可达 6.1 倍，解码注意力操作速度最快可达 10.3 倍，同时在 LongBench 和 RULER 等基准…
-
KV 缓存压缩研究确定时间聚合为关键因素
研究人员调查了时间聚合和排名保留对大型语言模型解码时 KV 缓存压缩的影响。他们发现指数移动平均 (EMA) 聚合可以使评分器修改在驱逐级别无法区分，从而实现稳定的保留集。这促成了 InertiaKV 和 InertiaKV-Lazy 的开发，这些方法与完全刷新方法相比，将解码吞吐量提高了 1.34-1.46 倍。该研究还探讨了无评分解码，它在显著降低计算成本的同时保持了平均质量。
-
新的 Faster Flash Decoding 框架提高了 LLM 的长上下文效率
研究人员开发了 Faster Flash Decoding (FFD)，一个显著提高大型语言模型长上下文解码效率的新框架。FFD 通过将选择器和计算器集成到融合内核中，并使用低比特量化的内容感知扫描，解决了注意力机制的内存带宽瓶颈和二次复杂度问题。这个无需训练、即插即用的解决方案实现了高达 11.6 倍的内核级加速和 2.37 倍的端到端吞吐量提升，使模型能够在保持准确性的同时处理长达 256K 的上下文长度，这已在 RULER 和 …
-
新的EXACT方法提升了Qwen和LLaMA模型的长上下文适应性
研究人员推出了一种新颖的监督分配目标EXACT，旨在提高语言模型的长上下文适应性。该方法解决了文档掩码打包训练导致目标标记有效上下文短的问题。通过根据长尾中目标标记的频率为其分配额外的权重，EXACT在NoLiMa和RULER等基准测试中，在各种Qwen和LLaMA配置上均显示出显著的改进。当证据位于距离数千个标记之外时，收益尤为显著，而短上下文上的性能保持稳定，保留了标准的问答和推理能力。
-
Tail-Replay 提升混合 LLM 推理速度，实现无约束的前缀重用
研究人员推出了一种新颖的前缀缓存机制 Tail-Replay，旨在提高混合大型语言模型（LLM）的效率。这些模型结合了全注意力（full-attention）和线性注意力（linear-attention）层来处理长上下文，但传统的前缀缓存难以处理这些层不同的状态管理。Tail-Replay 通过重放匹配前缀的短后缀来近似线性注意力状态，从而消除了对循环状态检查点的需求。这种方法实现了无约束的 token 级前缀重用，并在 LongB…
-
A.X K2 语言模型发布，拥有 6880 亿参数并专注于智能体应用
一份新的技术报告介绍了 A.X K2，一个拥有 6880 亿参数的混合专家（MoE）语言模型，专为智能体应用而设计。尽管其训练的 token 数量少于其前身 A.X K1，但由于 token 效率的提高和更高质量的训练数据集，A.X K2 在各种基准测试中表现出显著的改进。该模型采用了稀疏门控注意力（SGA）等创新技术，以实现高效的长上下文处理，并采用了门控归一化（GN）技术以实现稳定的大规模训练，在 RULER 和数学任务等基准测试…
-
CRISP方法提升长上下文LLM推理速度和准确性
研究人员开发了CRISP，一种提高长上下文大型语言模型（LLM）推理效率的新方法。CRISP通过引入直接的结构化路由指标和感知接收器的阈值来缓解背景噪声，从而解决了预填充阶段自注意力机制的二次方扩展瓶颈。该方法在512k token下实现了高达5.30倍的速度提升，并在InfiniteBench、RULER和LongBench等基准测试中提高了检索准确性。
-
PolicyLong 通过策略内数据演进推进 LLM 上下文扩展
研究人员推出了一种名为 PolicyLong 的新方法，通过动态构建训练数据来扩展大型语言模型的上下文窗口。与使用固定模型生成数据的先前离线方法不同，PolicyLong 使用当前模型迭代地重新筛选数据，确保训练分布与模型不断发展的能力保持一致。这种策略内方法创建了一个新兴的自课程学习机制，其中正面和挑战性上下文都源自模型自身的熵景观。在 RULER、HELMET 和 LongBench-v2 等基准测试上的实验表明，PolicyLo…
-
PragAlign 系统改进了多语言回复辅助，在中文方面表现优于基线模型
研究人员开发了 PragAlign，一个旨在改进跨语言和跨文化回复辅助的新系统。PragAlign 将上下文阅读与选择性澄清分开，并与 Direct 和 Rule 基线模型进行了评估。在与中文母语者的测试中，PragAlign 的表现显著优于其他两个系统。虽然对日语母语者的结果并非在所有方面都具有统计学意义，但 PragAlign 展现了高排名率，表明其在支持跨文化交流方面的潜力。
-
新的 KV 缓存压缩技术旨在提升 LLM 长上下文性能
研究人员正在开发新的方法来压缩大型语言模型中的键值（KV）缓存，这是长上下文推理的主要瓶颈。Minima-KV 采用混合格式方法，将最近的页面存储在 FP8 中，将较旧的页面存储在 TQ3 中，以实现显著压缩。ST-Lite 通过解决视觉冗余和 UI 元素结构来针对 GUI 代理，性能优于现有方法。PuzzleKV 采用逐页低秩分解，将每页视为独立的压缩单元，以在减少存储的同时保持性能。Sigmoid Attention 探索了注意力…