研究人员推出了一种新颖的变分框架——概率潜在推理模型(PLRM),旨在提高语言模型推理轨迹的效率和多样性。与确定性潜在模型不同,PLRM能够捕获和建模多个有效推理路径的分布。该框架利用了类似JEPA的目标函数来实现可并行化的后验推理,并引入了一个具有混合先验的离散策略变量来保留不同的推理过程。PLRM在单轨迹数据集上表现出竞争力,并在多轨迹任务上超越了现有的随机基线,同时实现了更高效的训练。 AI
影响 这项研究可能带来语言模型更高效、更多样化的推理能力,从而可能提高它们在复杂任务上的表现。
排序理由 该集群包含一篇详细介绍新模型框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →