实体
Bradley–Terry model
Bradley–Terry model
PulseAugur coverage of Bradley–Terry model — every cluster mentioning Bradley–Terry model across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 构建：数据、后训练和评估是关键，而不仅仅是架构
大多数关于大型语言模型（LLM）如何构建的解释都集中在架构和注意力机制上，而忽略了数据管道、后训练技术和评估方法等关键方面。详细的分解显示，数据管道涉及对海量数据集进行广泛的爬取、提取、过滤、去重和混合，并为此投入了大量的人力和计算资源。Supervised Fine-Tuning (SFT) 等后训练阶段用于教授格式和角色，而 Reinforcement Learning from Human Feedback (RLHF) 和 D…
-
直接偏好优化通过移除奖励模型和强化学习简化了LLM对齐
直接偏好优化（DPO）提供了一种简化的方法来对齐语言模型，通过直接基于人类偏好对优化策略，消除了对单独奖励模型和强化学习的需求。 该方法利用标准RLHF目标的代数重排，从策略自身的概率分配中推导出隐式奖励。通过将此隐式奖励代入Bradley-Terry损失函数，DPO在一个稳定、单一的监督学习步骤中训练模型。 虽然DPO简化了对齐过程，但它牺牲了在线强化学习的探索能力，并且如果管理不当，可能会有过度训练的风险。