实体 NCP-ArchPreview

NCP-ArchPreview

PulseAugur coverage of NCP-ArchPreview — every cluster mentioning NCP-ArchPreview across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 1

层级分布 · 90 天

主题

时间线

2026-09-09 research_milestone Researchers published a technical report detailing NCP-ArchPreview, a latent-space language model that uses Next Concept Prediction. 来源

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_247358 · Sep 9 · 00:00

NCP-ArchPreview模型通过概念预测推进语言建模

研究人员推出了一种新颖的潜在空间语言模型NCP-ArchPreview，它超越了传统的下一个词元预测。该模型集成了下一概念预测（NCP），使其能够学习和预测跨越多个词元的离散概念。该模型拥有89亿参数，在Dolma-3数据集的5.73万亿词元上进行训练，仅使用了51.3%的训练词元就达到了OLMo-3-7B的预训练损失，并在下游任务上取得了显著的提升，包括在GSM8K上提高了5.99个百分点。