ESF-Bench

新的ESF-Bench突显了LLM在企业槽填充方面的局限性

研究人员推出了ESF-Bench，这是一个旨在评估大型语言模型（LLM）在与企业应用相关的挑战性槽填充场景中性能的新基准。该基准包含8个领域的810个多轮样本和6530个槽，重点关注57个困难的真实企业部署场景。初步测试显示，当前LLM存在显著局限性，GPT-OSS-120b在槽提取方面的成功率仅为20.7%。该数据集、分类法和评估代码已在GitHub上公开，以促进进一步研究。