PulseAugur
中
实时 05:10:39
English(EN) Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment

新的SMMD训练方法增强了LLM的数值精度

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了一种名为平滑最大均值差异（SMMD）的新训练目标，以提高大型语言模型（LLM）的数值精度。标准的交叉熵训练将数值标记视为类别，忽略了它们固有的值结构。SMMD通过引入值距离核和基于图的平滑性来解决这个问题，将预测分布与目标值对齐，并鼓励局部一致性。在数学推理和图表问答等任务上，对各种LLM和视觉语言模型骨干的评估表明，SMMD的性能始终优于现有方法。 AI

影响 这一新的训练目标可能带来更可靠的LLM，用于需要数值精度的任务，从而影响科学研究和金融分析等领域。

排序理由 该集群包含一篇详细介绍改进LLM性能新方法的论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的SMMD训练方法增强了LLM的数值精度

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Zhuo Zuo, Li Yue, Wenhao Zheng, Chenpeng Wang, Xianggen Liu ·

    Enhancing Numerical Prediction in LLMs via Smooth MMD Alignment

    arXiv:2606.27731v1 Announce Type: cross Abstract: Despite their strong general capabilities, large language models (LLMs) often remain unreliable when outputs must be numerically precise. A key reason is the training objective: standard cross-entropy treats numeric tokens as unst…

  2. arXiv cs.CL TIER_1 English(EN) · Xianggen Liu ·

    通过平滑MMD对齐增强LLM中的数值预测

    Despite their strong general capabilities, large language models (LLMs) often remain unreliable when outputs must be numerically precise. A key reason is the training objective: standard cross-entropy treats numeric tokens as unstructured categories and ignores the metric structu…

相关实体

相关话题