PulseAugur
中
实时 14:54:34
English(EN) TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

新方法通过令牌级偏好优化增强大语言模型对齐

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文介绍了改进大语言模型对齐的新颖方法，特别解决了现有直接偏好优化（DPO）技术的局限性。第一篇论文TAB-PO提出了一种令牌级自适应屏障，用于将梯度更新集中在结构化生成任务中的关键模式令牌上，在Llama和Qwen模型上于SciERC数据集上显示出显著改进。第二篇论文TokenRatio提出了令牌级Bregman偏好优化（TBPO），这是一种将DPO推广到令牌级决策的原则性方法，在各种基准测试中提高了对齐质量、训练稳定性和输出多样性。 AI

影响 这些新的令牌级偏好优化技术可能导致更精确、更高效地针对特定任务对大语言模型进行微调，从而提高在结构化生成和指令遵循方面的性能。

排序理由 两篇介绍大语言模型对齐新颖方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新方法通过令牌级偏好优化增强大语言模型对齐

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Ashley Hagaman, Sarah R. Lowe, Aimee Kendall Roundtree ·

    TAB-PO：用于令牌关键结构化生成的令牌级自适应屏障的首选项优化

    arXiv:2603.00025v2 Announce Type: replace Abstract: Direct Preference Optimization (DPO) is an effective and widely adopted approach for offline alignment but is poorly matched to ontology-driven structured prediction, where preferred and rejected JSON objects often differ in onl…

  2. arXiv cs.AI TIER_1 English(EN) · Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le ·

    TokenRatio：基于比例匹配的原则性令牌级偏好优化

    arXiv:2605.12288v3 Announce Type: replace-cross Abstract: Direct Preference Optimization (DPO) is a widely used RL-free method for aligning language models from pairwise preferences, but it models preferences over full sequences even though generation is driven by per-token decis…

相关实体

相关话题