PulseAugur
中
实时 08:36:43
English(EN) Stochastic Autoregressive Learning

引入新的随机自回归学习PAC学习模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员引入了一个新的二元随机自回归学习PAC学习模型，该模型受到大型语言模型（LLMs）迭代令牌生成过程的启发。该模型泛化了确定性自回归学习，并考虑了三种监督形式：基础单步样本、揭示完整轨迹的思维链（CoT）样本，以及仅揭示最终令牌的端到端（e2e）样本。该研究分析了在平方损失误差下学习所需的最小样本数量，并证明随机自回归学习与其确定性对应物存在显著差异，学习任务之间存在复杂的依赖关系。 AI

影响 为理解和潜在改进LLMs的迭代生成过程引入了理论框架。

排序理由 学术论文，介绍了一种新的学习模型。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

引入新的随机自回归学习PAC学习模型

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ilan Doron-Arad, Idan Mehalel, Elchanan Mossel ·

    随机自回归学习

    arXiv:2608.07224v1 Announce Type: new Abstract: Motivated by LLMs, which generate outputs by iteratively sampling from next-token distributions, we introduce a PAC-learning model for binary stochastic autoregressive learning. This generalizes the deterministic autoregressive lear…

相关实体

相关话题