实体 centered-softplus

centered-softplus

PulseAugur coverage of centered-softplus — every cluster mentioning centered-softplus across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_223286 · Aug 28 · 04:00

新的DPO重构方法解耦优化尺度与偏好尺度

一篇新发表在arXiv上的研究论文提出了一种直接偏好优化（DPO）的重构方法，旨在解耦优化尺度和偏好尺度的影响。目前广泛用于语言模型对齐的DPO方法使用一个系数\(\beta\)，该系数混合了两个不同的作用：控制KL散度（KL divergence）和重缩放优化动力学。这种混合导致策略偏差不单调，并使得不同\(\beta\)值下的损失值无法比较，从而使超参数调优复杂化。提出的居中软plus（centered-softplus）重构方法…

新的DPO重构方法解耦优化尺度与偏好尺度