实体
preference alignment
preference alignment
PulseAugur coverage of preference alignment — every cluster mentioning preference alignment across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新框架利用机器学习遗忘实现成本高效的大语言模型偏好对齐
研究人员开发了一个新框架，将机器学习遗忘技术与大语言模型（LLMs）的偏好对齐相结合。该方法旨在降低传统方法（如基于人类反馈的强化学习 RLHF）的成本和计算强度，后者需要大量的正偏好数据。所提出的名为 Unlearning to Align (U2A) 的方法，通过使用双层优化来选择和加权负面示例，以实现高效地移除负面示例的影响，从而达到最佳性能。实验已证实 U2A 在改善偏好对齐方面的有效性。
-
LLM校准研究提出新方法以提高基准可比性和域外泛化能力
两篇新研究论文提出了改进大型语言模型（LLM）校准的方法。第一篇论文介绍了一个基于项目反应理论（IRT）的框架，该框架使用锚点项目来校准新基准，即使模型在不同数据集上随时间进行评估，也能实现可比的分数。第二篇论文提出了一种双层优化方法，在训练过程中修改模型参数以最大化预测分布的熵，直接针对过度自信问题并提高域外泛化能力。