Needle in a Haystack
PulseAugur coverage of Needle in a Haystack — every cluster mentioning Needle in a Haystack across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的基准 PredicateLongBench 探测 LLM 长上下文的局限性
研究人员推出了 PredicateLongBench，这是一个新的基准，旨在通过测试大型语言模型识别满足特定谓词的最长连续单词子序列的能力来评估其长上下文能力。与通常衡量平均性能的现有基准不同，PredicateLongBench 系统地探索了各种难度轴来探测模型的局限性。该基准利用合成和真实世界的数据管道，揭示了当前前沿模型在这些更具挑战性的长上下文任务中存在困难。
-
SubQ 发布 SubQ 1.1 Small，拥有 1200 万 token 上下文和稀疏注意力
SubQ 发布了其 SubQ 1.1 Small 模型，该模型采用了一种新的亚二次稀疏注意力（SSA）架构，旨在克服传统注意力机制的二次方扩展限制。这种新架构显著降低了计算需求，能够处理更长的上下文。在“针尖麦芒”测试中，该模型在高达 1200 万 token 的上下文长度下表现出近乎完美的检索能力，并在通用知识和编码基准测试中表现强劲，同时所需的计算量远低于密集注意力和 FlashAttention-2。
-
Subquadratic 推出具有线性扩展架构的 1200 万 token 上下文窗口
Subquadratic 是一家拥有 11 名博士研究员的初创公司，已推出一款采用其 Subquadratic 选择性注意力（SSA）架构的新模型，该架构声称可以随上下文长度线性扩展。这项创新实现了 1200 万 token 的上下文窗口，旨在克服 LLM 中传统密集注意力机制的二次成本限制。早期基准测试显示，在 MRCR v2 和 SWE-Bench 等任务上，其性能与 GPT-5.5 和 Claude Opus 等模型相当，且推理…