PulseAugur
中
实时 03:03:32
English(EN) Autoregressive Learning in Joint KL: Sharp Oracle Bounds and Lower Bounds

新理论精确了自回归学习界限的理解

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新的理论框架来理解自回归学习，重点关注用于下一个词预测的联合Kullback-Leibler散度。他们的工作建立了匹配的上下界，完全表征了长视界误差行为，提供了改进的速率和最优性证明。分析表明，与基于Hellinger的方法不同，联合KL散度允许无视界的近似因子，并证明了\(\\Omega(H)\\)-阶的基本信息论下界。这些发现将log-loss训练目标与序列级评估和近似度量对齐，提供了精确的联合KL Oracle理论。 AI

影响 为提高自回归模型中下一个词预测的准确性提供了理论基础。

排序理由 该集群包含一篇详细介绍机器学习理论进展的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新理论精确了自回归学习界限的理解

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ruohan Zhan ·

    联合KL中的自回归学习：尖锐的Oracle界限和下界

    We study the fundamental and timely problem of learning long sequences in autoregressive modeling and next-token prediction under model misspecification, measured by the joint Kullback--Leibler (KL) divergence. Our goal is to characterize how the sequence horizon \(H\) affects bo…

相关话题