研究人员开发了 EviScope,这是一个旨在评估地面语言模型的忠实性和效率的新基准。该基准引入了配对反事实,通过添加、删除或矛盾证据来改变证据,以评估模型在简单答案准确性之外如何处理事实地面。对 Qwen2.5-7B、Llama 3.1 8B 和 Gemini 3.5 Flash 等模型的测试表明,EviScope 可以揭示传统指标遗漏的模型特定地面行为,突出了诸如不支持的答案和冲突盲点等问题。 AI
影响 该基准可以推动 LLM 忠实性的改进,并减少幻觉或未经证实的说法。
排序理由 该集群描述了一种用于语言模型的新基准和评估方法,该方法发表在 arXiv 论文中。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- EviScope
- Gemini
- Gemini 3.5 Flash
- Hugging Face
- Llama-3.1:8b
- qwen2.5:7b
- retrieval-augmented generation
- Llama
- Qwen
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →