HALO-8K

AI代理因过于主动而失败，新的HALO基准测试揭示

一项名为HALO的新基准测试表明，AI代理经常因过于主动而失败，61.20%的被拒绝回复是由于过早行动或提供过多帮助。该基准测试在各种场景下测试了AI代理在不被要求的情况下提供帮助的能力，发现最常见的失败模式是过度干预，而不是遗漏关键信息。虽然最好的专有模型达到了72.88%的接受率，但顶尖的开源模型仅达到56.63%，凸显了性能上的显著差距。