PulseAugur
中
实时 09:32:09
English(EN) PolicyLong: Towards On-Policy Context Extension

PolicyLong 通过策略内数据演进推进 LLM 上下文扩展

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为 PolicyLong 的新方法，通过动态构建训练数据来扩展大型语言模型的上下文窗口。与使用固定模型生成数据的先前离线方法不同，PolicyLong 使用当前模型迭代地重新筛选数据，确保训练分布与模型不断发展的能力保持一致。这种策略内方法创建了一个新兴的自课程学习机制，其中正面和挑战性上下文都源自模型自身的熵景观。在 RULER、HELMET 和 LongBench-v2 等基准测试上的实验表明，PolicyLong 在较长上下文长度下始终优于现有方法。 AI

影响 PolicyLong 的策略内数据演进方法可能导致更高效、更有效地训练具有显著更大上下文窗口的 LLM。

排序理由 该集群包含一篇详细介绍扩展 LLM 上下文窗口新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

PolicyLong 通过策略内数据演进推进 LLM 上下文扩展

本文如何被排名

Signal score
13 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇详细介绍扩展 LLM 上下文窗口新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Junlong Jia, Jiang Zhou, Ziyang Chen, Xing Wu, Chaochen Gao, TingHao Yu, Feng Zhang, Songlin Hu ·

    PolicyLong：迈向在线策略上下文扩展

    arXiv:2604.07809v2 Announce Type: replace Abstract: Extending LLM context windows is hindered by scarce high-quality long-context data. Recent methods synthesize data with genuine long-range dependencies via information-theoretic verification, selecting contexts that reduce a bas…

相关实体

相关话题