Reference Sliding Window Attention
PulseAugur coverage of Reference Sliding Window Attention — every cluster mentioning Reference Sliding Window Attention across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
中国 AI 模型 Kimi K3 和 Unlimited OCR 领跑全球榜单
中国 AI 模型在全球范围内获得显著关注，Kimi K3 和 Unlimited OCR 在 Hugging Face 趋势榜上名列前茅。Kimi K3 在发布后迅速登顶，而百度开发的 Unlimited OCR 则获得了持续的欢迎。Unlimited OCR 的成功归功于其创新的参考滑动窗口注意力（R-SWA）机制，该机制通过管理上下文记忆来高效处理长文档，这一突破解决了 OCR 技术中的一个关键挑战，并为大型模型的长距离推理提供了新方法。
-
百度发布Unlimited OCR，挑战长文本AI记忆机制 · 追踪1个来源
百度已开源一款名为Unlimited OCR的新OCR模型，该模型通过模仿人类阅读习惯，在处理长文档方面表现出色。与传统的逐页处理文档然后拼接结果的OCR系统不同，Unlimited OCR采用了新颖的参考滑动窗口注意力（R-SWA）机制。这使其能够在不增加通常随文档长度而增加的内存和计算开销的情况下，保持连续阅读状态，并在OmniDocBench基准测试中达到了新的最先进水平。
-
Papers with Code 整合开源 OCR 模型和基准测试
创建了一个新资源来跟踪开源光学字符识别 (OCR) 模型，整合了关于顶级模型、基准测试以及其论文和代码链接的信息。该计划重点介绍了百度最近发布的具有参考滑动窗口注意力机制的 3B 参数 Unlimited OCR 模型，以及可通过 API 获得的 Mistral 的 OCR 4。该平台旨在简化各种应用（如代理 RAG 和 AI 代理的数据摄取）的 OCR 模型选择。
-
Unlimited OCR 模型采用新的注意力机制高效处理长文档
研究人员开发了 Unlimited OCR，这是一种新模型，解决了当前 OCR 系统在处理长文档时存在的内存和速度限制。通过用参考滑动窗口注意力 (R-SWA) 替换标准注意力层，该模型保持恒定的 KV 缓存，使其能够在一个前向传播中转录数十页。这种方法建立在 DeepSeek OCR 基线的基础上，也适用于 ASR 和翻译等其他序列任务。
-
百度发布Unlimited OCR，具有恒定的KV缓存用于长文档
百度发布了Unlimited OCR，这是一个30亿参数的混合专家模型，专为高效的长文档解析而设计。该模型利用参考滑动窗口注意力（R-SWA）来保持恒定的KV缓存，克服了传统OCR模型在处理长输出时面临的内存和速度限制。这项创新使得Unlimited OCR能够在一个前向传播中处理数十页文档，并在OmniDocBench v1.5等基准测试中取得了最先进的性能。