PulseAugur
中
实时 13:10:18
实体 LongBench: a bilingual, multitask benchmark for long context understanding

LongBench: a bilingual, multitask benchmark for long context understanding

PulseAugur coverage of LongBench: a bilingual, multitask benchmark for long context understanding — every cluster mentioning LongBench: a bilingual, multitask benchmark for long context understanding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
17
90 天内 48
发布 · 30天
0
90 天内 0
论文 · 30天
16
90 天内 44
层级分布 · 90 天
主题
关系
情绪 · 30 天

7 天有情绪数据

最近 · 第 1/3 页 · 共 49 条
  1. TOOL · CL_368034 ·

    FlashMorph2 优化混合注意力 Transformer 以实现长上下文理解

    研究人员开发了 FlashMorph2,一种用于优化混合注意力 Transformer 的 On-Policy 方法。该方法改进了保留完全注意力的层的选择,从而在 RULER 和 LongBench 等长上下文基准测试中获得更好的性能。FlashMorph2 还联合优化层选择和模型权重,性能优于先前的方法,并在各种模型规模上展示了效率。

  2. TOOL · CL_352006 ·

    新的ADIndex方法加速LLM长上下文推理

    研究人员开发了ADIndex,一种提高大型语言模型稀疏注意力机制效率的新颖方法。该方法通过优化索引器来解决长上下文推理中的计算瓶颈,索引器可能占预填充GPU时间的50%以上。ADIndex采用层级校准和组级蒸馏来训练自适应索引器,显著加快预填充和解码速度,同时保持任务性能。

  3. TOOL · CL_346699 ·

    新 LLM 引擎使 Qwen3.6 性能比 vLLM 提升高达 95%

    一款新的大型语言模型(LLM)运行引擎在性能上展示了比 vLLM 显著的提升,尤其是在 Qwen3.6 模型上。基准测试显示,该引擎在单个 GPU 上可实现高达 95% 的输出量提升,与经过优化的 vLLM 设置相比,吞吐量增益范围在 1.5 倍到 1.95 倍之间。该引擎还能减少首次 token 的延迟,在突发流量场景下,中位数提升高达 8.56 倍。这些优化对于 Qwen3.6 等中型开源模型尤其有利,这些模型因其能力和硬件要求的…

  4. TOOL · CL_340155 ·

    EarlySelectKV 优化长上下文 LLM 推理,提高速度并减少内存使用

    研究人员开发了 EarlySelectKV,一种优化大型语言模型长上下文推理的新方法。该技术使用来自早期隐藏状态的代理查询来预计算选定的 KV 索引,从而实现更快的路由和更少的内存使用。在 LongBench 和 RULER 等基准测试中,使用 RocketKV、Quest 和 Loki 等 KV 缓存进行的评估表明,吞吐量提高了 12.4%,GPU 内存减少了 11.1%。

  5. TOOL · CL_327146 ·

    新的ReFINE方法通过序列预测增强长上下文AI模型

    研究人员开发了一种名为ReFINE(通过下一序列预测增强的快速权重)的新训练方法,以改进快速权重架构中的长上下文建模。该方法解决了这些模型通常使用下一词元预测进行训练与其依赖不断变化的记忆状态之间不匹配的问题。ReFINE采用下一序列预测,这是一种序列级目标,训练模型生成连贯的多词元续写。在LaCT-760M和DeltaNet-1.3B模型上的实验表明,ReFINE在类似“针海找针”检索和长上下文问答等任务以及LongBench基准测…

  6. TOOL · CL_327123 ·

    新方法将注意力偏置折叠到键中,实现高效 KV 缓存操作

    研究人员开发了一种将注意力偏置折叠到键中的方法,使压缩的 KV 缓存能在标准内核上运行。该技术通过重新拟合值并将偏置添加到保留的键中,实现了具有 AM 大小和头维度的普通缓存。在与未修改的 vLLM 和 Hugging Face 进行测试时,折叠后的缓存与现有方法在不同基准测试的各种 Qwen3 和 Llama-3.1 模型上表现相当。

  7. RESEARCH · CL_327117 ·

    MERLIN 通过基于矩的路由增强 LLM 的长上下文理解能力

    研究人员推出了一种新颖的方法 MERLIN(MomEnt Routing for multi-state LINear attention,多状态线性注意力的矩路由),旨在提高大型语言模型处理长序列的效率和性能。MERLIN 通过跟踪片段键的一阶和二阶矩,改进了现有的多状态线性注意力(MSLA)机制,从而能够更全面地聚合信息。这种方法使查询能够更好地理解它们与每个片段的对齐的均值和方差,从而实现更优的内容感知聚合。实验表明,MERLI…

  8. TOOL · CL_324487 ·

    新框架通过组织文档证据改进长上下文AI

    研究人员开发了一个名为“\ours”的无训练框架,该框架从完整文档构建语义层次结构,以改进长上下文语言模型中的问答。该方法通过将节点描述链接到源跨度来组织证据,从而实现更集中的上下文选择。当提供查询时,\ours 使用结构-语义评分和词汇归因来提名相关的源节点及其祖节点,保留结构关系和局部文本。该方法在 LongBench 任务上跨多个前沿模型展示了 QA-F1 分数的提高,同时显著减少了答案上下文的长度。

  9. RESEARCH · CL_333967 ·

    新研究优化 LLM KV 缓存,以实现更快的推理和更高的效率

    多篇研究论文探讨了优化大型语言模型(LLM)中 KV 缓存的新技术,以提高效率并降低延迟。研究引入了在模型更新(即使权重发生变化)时重用 KV 缓存的方法,以加速推理。其他方法侧重于无需训练的缓存填充、低秩键和摊销值压缩,以及将 KV 缓存卸载到主机内存。这些进展旨在提高长上下文 LLM 服务和 AI 工作负载的性能。

  10. TOOL · CL_321872 ·

    新的主动回顾学习框架提升LLM长上下文理解能力

    研究人员推出了一种新颖的主动回顾学习(ARL)框架,旨在显著增强大型语言模型(LLMs)的长上下文理解能力。该方法包括一个两阶段过程:首先,在持续预训练期间识别关键token并总结相关的前置内容;其次,使LLMs在推理过程中能够自主生成和使用这些摘要,从而创建一个递归记忆机制。实验表明,ARL在RULER基准测试上取得了高达129.7%的提升,在LongBench上提升了11-13%,为LLMs的记忆增强提供了可扩展的方法。

  11. TOOL · CL_317350 ·

    MoEZip:稀疏 MoE LLM 的新型 KV 缓存压缩技术

    研究人员开发了 MoEZip,一种专为稀疏专家混合(MoE)语言模型设计的新型 KV 缓存压缩技术。与可能通过改变专家选择而降低 MoE 性能的现有方法不同,MoEZip 采用了路由感知评分。该方法使用基于路由分布的 Fisher 信息矩阵的度量来估计专家选择对 KV 缓存逐出的敏感性。实验表明,在激进的压缩级别下,MoEZip 在 LongBench 和 RULER 等基准测试中的表现显著优于以前的最先进方法。

  12. RESEARCH · CL_312361 ·

    分层稀疏注意力提升LLM长上下文推理速度和准确性

    研究人员开发了分层稀疏注意力(Stratified Sparse Attention, SSA)框架,旨在提高大型语言模型在长上下文推理中的效率和准确性。SSA结合了高分标记的确定性检索和分数引导采样,以恢复丢失的注意力质量,其性能优于现有的稀疏注意力方法。该方法在各种基准测试和模型上持续提升性能,尤其是在极端稀疏性和非常长的上下文下,实现了显著的准确性提升和解码速度加快。

  13. RESEARCH · CL_301029 ·

    Latent Compaction 技术使用测试时训练来压缩 LLM KV 缓存

    研究人员开发了一种名为 Latent Compaction 的新技术,该技术使用测试时训练来压缩大型语言模型中的键值(KV)缓存。该方法通过优化注意力输出和对数归一化器来学习特定文档的紧凑缓存,而无需访问下游问题。在 RULER 和 LongBench 等基准测试上的实验表明,与现有的压缩方法相比,检索准确性有了显著提高,该技术在 Qwen3 和 MiniCPM5 等不同模型规模和系列之间表现出可转移性。

  14. RESEARCH · CL_289556 ·

    QUILT 和 PageWeaver 新研究优化 LLM 的稀疏注意力

    两篇新研究论文 QUILT 和 PageWeaver 提出了优化大型语言模型中稀疏注意力机制的新颖方法。QUILT 引入了一种工作负载感知的执行策略,该策略在相邻查询之间重用共享 KV 条目,从而减少内存流量和计算量,显著降低了内核延迟和首次令牌生成时间。PageWeaver 专注于 KV 引导的查询联合,以在 GPU 上高效地组装查询组,与现有方法相比实现了显著的加速并提高了预填充吞吐量。

  15. TOOL · CL_289491 ·

    Attic-KV 方法通过自我提问提高 LLM KV 缓存效率

    研究人员开发了一种名为 Attic-KV 的新方法,可提高大型语言模型中键值(KV)缓存的效率。与需要重读整个上下文的传统方法不同,Attic-KV 采用一种带有问答对的自我提问方法,仅排练最相关的信息。这项技术显著提高了性能,尤其是在内存预算紧张的情况下,在 3% 的保留率下,性能比现有方法高出 41.9 个百分点。

  16. TOOL · CL_280277 ·

    WakeKV 为 LLM 引入反应式 KV 缓存驻留

    研究人员开发了 WakeKV,这是一种新颖的 KV 缓存驻留策略,旨在提高大型语言模型的效率。与固定头分类的现有方法不同,WakeKV 会动态地将生成过程中行为发生变化的头移动到可恢复的 CPU 存储库中。这种反应式方法在各种模型和任务中持续提高性能,在内存受限的情况下优于 SnapKV 和 ReasonAlloc 等方法。

  17. TOOL · CL_275040 ·

    新的HHR方法提升LLM长上下文生成速度

    研究人员开发了层级哈希检索(HHR),一个旨在提高大型语言模型(LLM)在生成过程中效率的新框架,尤其是在长上下文场景下。HHR通过引入几何感知键路由(GKR)和学习哈希投影(LHP)来解决传统基于哈希的检索的局限性。这些技术协同工作,通过更好地使汉明距离与实际注意力相关性对齐来提高检索精度,从而减少检索错误。实验表明,HHR在LongBench等基准测试中显著提升了Llama 3.1 8B-Instruct模型的解码速度和整体性能。

  18. RESEARCH · CL_270903 ·

    新的VLM框架LensVLM和FocusVTC改进了视觉文本压缩

    研究人员开发了两个新框架LensVLM和FocusVTC,以改进视觉语言模型(VLM)处理长文档的方式,方法是压缩视觉文本表示。LensVLM使用训练后方法选择性地扩展相关文本的压缩图像,在保持准确性的同时实现了显著压缩。FocusVTC采用自适应分辨率,结合低DPI全局视图和选择性区域增强,并在各种基准测试中展示了改进的性能,甚至在某些任务上超越了其文本输入骨干。

  19. RESEARCH · CL_268807 ·

    新方法解决LLM KV缓存压缩问题,实现高效长上下文推理 · 跟踪10个来源

    多篇研究论文介绍了压缩大型语言模型(LLM)中KV缓存的新颖技术,KV缓存是高效长上下文推理的关键组成部分。这些方法旨在通过智能管理KV缓存来减少内存使用并提高推理速度。方法包括时间预取、具有专用查询和键变换的低比特量化、跨循环使用残差状态、基于注意力几何的自适应剪枝以及LLM引导的策略演化。其他策略侧重于优化驱逐时机和使用蒙特卡洛估计来预测未来令牌效用。

  20. TOOL · CL_254571 ·

    新的自索引注意力机制提升了 LLM 长上下文推理速度

    研究人员开发了一个名为自索引注意力(Self-Indexing Attention)的新框架,旨在提高稀疏长上下文大型语言模型(LLM)推理的效率。这种无需训练的方法利用共享的变换域表示,允许使用可重用的令牌级索引,从而在预填充和解码阶段实现高效检索。该系统实现了显著的速度提升,实验表明在 5% 的注意力密度下,预填充速度最快可达 6.1 倍,解码注意力操作速度最快可达 10.3 倍,同时在 LongBench 和 RULER 等基准…