实体 TruthfulQA-MC

TruthfulQA-MC

PulseAugur coverage of TruthfulQA-MC — every cluster mentioning TruthfulQA-MC across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_18810 · May 6 · 04:00

语言模型的自验证有效性因任务和模型而异

研究人员调查了语言模型将其自身答案作为置信信号进行验证的有效性。他们使用 Phi-2 和 Qwen 等各种模型在 ARC-Challenge 和 TruthfulQA-MC 数据集上进行的研究发现，自验证的效用高度依赖于特定任务、模型家族和提示设计。虽然它在 ARC-Challenge 上对某些 Qwen 模型显示出显著改进，但在 TruthfulQA-MC 上的可靠性不太一致，其他基线模型在该数据集上通常表现更好。研究结果表明，自验…