引入了一个名为知识答案分歧(KAD)的新评估协议,用于评估语言模型在初始错误纠正后的事实不准确性处理能力。该方法区分了模型最初采纳错误信息以及后续的坚持、恢复或弃权。对Llama 3.2 Instruct 3B和Qwen 3.5-4B等模型的实验表明,对话历史和特定措辞显著影响模型的factual可靠性。 AI
影响 引入了一种评估和潜在改进语言模型factual准确性和鲁棒性的新方法。
排序理由 研究论文,介绍了一种新的语言模型评估协议。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Knowledge After Collapse: Context and Wording Shape Factual Accessibility in Language Models
- Knowledge Answer Divergence
- Llama 3.2 Instruct 3B
- Qwen 3.5-4B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →