IWC-Bench

新基准 IWC-Bench 评估 LLM 生成的 Web 应用

研究人员推出了 IWC-Bench，这是一个新的交互式基准，旨在从软件测试的角度评估大型语言模型 (LLM) 生成的 Web 应用程序的质量。该基准通过使用代码覆盖率来指导代理探索应用程序功能，然后将交互跟踪抽象为状态转换图，从而解决了静态和现有交互式基准的局限性。IWC-Bench 在视觉美感、可用性和需求一致性方面评估应用程序，在对 16 个前沿 LLM 的评估中，与人类偏好达成 85.3% 的一致性。