WordInferBench

新基准揭示AI代理在推断文档编辑方面存在困难

引入了一个名为WordInferBench的新基准，用于评估AI代理从文档上下文中推断编辑指令的能力，而不是依赖于完全指定的命令。该基准包含280个源自真实文档的实例，在描述性、指代性和推断性指令条件下测试代理。使用WordInferBench进行的早期评估显示，即使是表现最好的系统Claude Code with Opus 4.6，在推断性任务上也遇到了困难，与描述性指令相比，通过率显著降低。