PulseAugur
中
实时 06:44:35
English(EN) The Optimal Sample Complexity of Learning Autoregressive Chain-of-Thought

新理论界定了自回归思维链学习的样本复杂度

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新的理论框架，用于理解学习自回归思维链（CoT）轨迹的样本复杂度。该研究证明，在可实现PAC设置中，样本复杂度受限于标准多类速率，由Daniely-Shalev-Shwartz（DS）维度决定。这种新方法引入了奇偶校验维度，它是DS维度的改进，在滚动下是稳定的，并且不会随着自回归步骤的增加而增加，从而解决了原始DS维度的一个限制。 AI

影响 为理解大型语言模型中高级推理方法的数据需求提供了理论基础。

排序理由 该集群包含一篇详细介绍机器学习理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论界定了自回归思维链学习的样本复杂度

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Zhiyuan Li ·

    The Optimal Sample Complexity of Learning Autoregressive Chain-of-Thought

    We prove that, in the realizable PAC setting, the sample complexity of exact-trace learning for full autoregressive Chain-of-Thought traces is upper bounded by the standard multiclass rate of the local next-token class, where this rate is governed by the Daniely--Shalev-Shwartz d…

相关实体

相关话题