实体
QA benchmarks
QA benchmarks
PulseAugur coverage of QA benchmarks — every cluster mentioning QA benchmarks across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架StaR-TTA提升了RL训练后LLM的置信度
研究人员开发了StaR-TTA，一个旨在提升大型语言模型在经过代理强化学习（RL）训练后的置信度估计的新框架。该方法解决了RL训练后推理轨迹偏移导致的置信度分数下降问题。StaR-TTA利用了这样一个观察结果：即使在RL训练后，更稳定的轨迹也倾向于产生更正确的答案。通过从标记的基础轨迹的正确性和稳定性信号中学习，StaR-TTA将置信度分数自适应到未标记的RL轨迹上，在四个问答基准测试中实现了0.721的平均AUROC。
-
PathRouter框架通过将奖励与检索质量对齐来改进代理图检索增强生成
研究人员推出了一种新颖的训练框架PathRouter，旨在增强代理图检索增强生成（GraphRAG）系统。该框架解决了仅基于结果的强化学习中固有的奖励别名和搜索-更新歧义等问题。PathRouter根据答案正确性和证据路径重叠来评估轨迹，区分不同类别以抑制捷径同时鼓励证据搜寻。实验表明，PathRouter在各种模型规模下显著提高了答案F1分数和证据路径重叠度。