一项新的基准测试已被开发出来,用于测试前沿AI代理修复现实世界软件漏洞的能力。该基准测试包含150个损坏的代码样本,然后将这些样本提供给六个不同的AI代理。此次评估的结果将被记录并分享给开发者社区。 AI
影响 该基准测试为衡量和比较AI代理在软件开发和安全任务中的有效性提供了一种标准化方法。
排序理由 该集群描述了一个用于评估AI代理在特定任务(修复代码漏洞)上的新基准测试,属于研究范畴。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →