实体
Samah J Fodeh
Samah J Fodeh
PulseAugur coverage of Samah J Fodeh — every cluster mentioning Samah J Fodeh across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的STaR-DRO框架增强了LLM结构化预测的鲁棒性
研究人员开发了STaR-DRO，一个用于改进大型语言模型结构化预测的新框架，特别适用于数据不平衡和不同难度组的任务。该框架结合了模块化提示工程和一种重加权技术，该技术可以上调持续困难的组，而不会惩罚更容易的组。在EPPC Miner任务上的评估表明，当应用于Llama模型时，在零样本提取和鲁棒性方面取得了显著改进，优于标准微调和传统的DRO方法。
-
新方法通过令牌级偏好优化增强大语言模型对齐
两篇新研究论文介绍了改进大语言模型对齐的新颖方法，特别解决了现有直接偏好优化（DPO）技术的局限性。第一篇论文TAB-PO提出了一种令牌级自适应屏障，用于将梯度更新集中在结构化生成任务中的关键模式令牌上，在Llama和Qwen模型上于SciERC数据集上显示出显著改进。第二篇论文TokenRatio提出了令牌级Bregman偏好优化（TBPO），这是一种将DPO推广到令牌级决策的原则性方法，在各种基准测试中提高了对齐质量、训练稳定性和输出多样性。