Hyper-Niche True

新的EHQ基准衡量LLM的情感诚实度，揭示知识差距

一篇新的研究论文介绍了一种新颖的衡量标准——情感诚实度商（EHQ），旨在评估大型语言模型（LLM）在多大程度上承认其知识的局限性。该研究构建了一个包含3000个问题的基准测试EHQ-3000，涵盖了虚构实体、截止日期后的事件、小众知识和条件性问题。对14个LLM API接口的分析显示，情感诚实度存在显著差异，综合EHQ得分范围从0.31到0.81不等，表明这种基于行为的衡量标准能够捕捉到标准正确性评估中不明显的差异。