arXiv上发表的一项新研究审计了开源聊天LLM的可信度，特别考察了Yi、Qwen、Mistral和Gemma在多代模型中的表现。研究发现，可信度分数通常不能准确反映模型检查点之间的变化，在高于无漂移参考零值的情况下观察到了显著的漂移。作者提出，信任分数应被视为特定于每个检查点的过时产物，而不是在未经重新测量的情况下沿用到后续版本，并提倡使用纵向模型卡。 AI
影响 强调了随着模型的发展，需要持续评估LLM的可信度，这影响了基准测试和模型卡的解释方式。
排序理由 该集群包含一篇详细介绍LLM可信度研究结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
