实体 ArcticQA

ArcticQA

PulseAugur coverage of ArcticQA — every cluster mentioning ArcticQA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_286826 · Oct 8 · 04:00

新的数据集和基准测试评估大型语言模型在北极科学中的弃答能力

研究人员推出了 ArcticQA，一个包含 194 个关于北极科学的多项选择题的新数据集，旨在评估大型语言模型（LLM）的弃答能力。同时，他们开发了 ArcticAbstain，一个专门测试模型在未提供正确答案或正确答案被干扰项替换时弃答能力的基准测试。测试了来自 Gemini、Claude 和 ChatGPT 系列的八个模型，结果显示它们在弃答率和对答案可用性的响应方面存在显著差异。