Shahab Saquib Sohail

新的大语言模型基准测试评估歧义性和事实可靠性 · 跟踪 2 个来源

arXiv 上发布了两篇新的研究论文，介绍了用于评估大语言模型（LLM）的新型基准测试。第一篇 TRIAD 专注于评估处理文本、图像和音频的模型在全模态歧义性解析能力，揭示了当前系统在跨模态信息消歧方面存在困难。第二篇 Fluent but Fallible 使用学术提示对十个先进大语言模型的事实可靠性和幻觉倾向进行了基准测试，发现响应完整性和准确性之间存在权衡，其中 Perplexity 和 DeepSeek-V3 表现出较高的整体准确性。