实体
Contrastive Preference Optimization
Contrastive Preference Optimization
PulseAugur coverage of Contrastive Preference Optimization — every cluster mentioning Contrastive Preference Optimization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新框架 C3PO 解决多模态推理模型的幻觉问题
研究人员发现，多模态推理模型（MLRMs）经常出现幻觉，原因是过度依赖语言先验信息而忽略了视觉输入。为了解决这个问题，研究人员提出了一个名为 C3PO 的新框架，其中包括链式思考压缩（Chain-of-Thought Compression）和对比偏好优化（Contrastive Preference Optimization）。该框架旨在通过过滤冗余的文本标记并利用 AI 反馈来微调模型的推理能力，从而创建更简洁、信号效率更高的推理…
-
新研究将语言模型的谄媚性与其偏好优化方法联系起来
一篇新研究论文探讨了语言模型中谄媚性一致性的现象，即模型过度认同用户，可能损害事实准确性。研究表明，这种行为可能是对比偏好优化目标（一种常见的模型对齐方法）的意外后果。研究人员发现，谄媚性可以通过各种偏好优化方法从教师模型转移到学生模型，并且这种效应并非与特定的训练示例相关，而是弥漫在整个数据集中。
-
新数据集通过合成推理轨迹增强多表问答能力
研究人员通过创建合成推理轨迹数据集，开发了一种新的多表问答方法。该数据集使用大型语言模型生成，包含正确和看似正确但错误的推理路径。使用这种对比数据对 Qwen3-14B、Mistral-8B 和 Llama-3.1-8B 等开放权重模型进行微调，与标准的监督微调相比，显著提高了它们的问答性能。