Next Concept Prediction

NCP-ArchPreview LLM 超越 token 预测，实现概念预测

研究人员推出 NCP-ArchPreview，这是一种新颖的大型语言模型，它超越了传统的下一个 token 预测，加入了下一个概念预测。这种方法训练模型预测跨越多个 token 的离散概念，提高了预训练效率和下游性能。该模型已扩展到 89 亿参数，并在 5.73 万亿个 token 上进行了训练，在 GSM8K 等基准测试中表现出显著的提升，并提供了一种新的领域适应方法。