Joshi et al.

引入新的随机自回归学习PAC学习模型

研究人员引入了一个新的二元随机自回归学习PAC学习模型，该模型受到大型语言模型（LLMs）迭代令牌生成过程的启发。该模型泛化了确定性自回归学习，并考虑了三种监督形式：基础单步样本、揭示完整轨迹的思维链（CoT）样本，以及仅揭示最终令牌的端到端（e2e）样本。该研究分析了在平方损失误差下学习所需的最小样本数量，并证明随机自回归学习与其确定性对应物存在显著差异，学习任务之间存在复杂的依赖关系。