English(EN) One Spectrum, Two Resources: Data-Memory Scaling in Autoregressive Prediction

新研究详细介绍了自回归预测中的数据-内存缩放

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-15 04:00

一篇新研究论文发布在arXiv上，探讨了数据-内存缩放与自回归预测之间的关系。该研究引入了一个预测-能量谱来模拟如何利用额外数据需要学习到的内存。研究结果表明，数据集分辨率和内存状态受此谱的支配，并且存在一个极小极大定律描述它们之间的关系。该论文还详细介绍了掩码查询-键注意力头如何学习实现这些定律，并通过实验验证了数据-内存崩溃和耦合指数。 AI

影响这项研究为自回归模型的缩放特性提供了理论见解，可能为未来的模型设计和训练策略提供信息。

排序理由该集群包含一篇详细介绍机器学习新理论发现和实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 17 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍机器学习新理论发现和实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Chiwun Yang, Xiaoyu Li · 2026-09-15 04:00

一个光谱，两种资源：自回归预测中的数据-记忆缩放

arXiv:2609.13500v1 Announce Type: cross Abstract: How much learned memory is needed to benefit from more data? We show that the two resources are governed by one predictive-energy spectrum in a positive-entropy autoregressive retrieval source. Each coordinate contributes its quer…

本文如何被排名

报道来源 [1]

一个光谱，两种资源：自回归预测中的数据-记忆缩放

相关实体

相关话题