最近的一项基准测试AI4AI-Bench，通过让AI代理重写训练算法来研究自我改进AI代理的概念。结果表明，在263个提交中，很大一部分集中在超参数调整等表面性更改上，而不是根本性的算法创新。这表明，虽然代理可以修改周围的脚手架，但它们很少提出对目标函数的根本性更改，从而阻碍了递归自我改进的潜力。 AI
影响 这项研究突显了AI代理自我改进的当前局限性，表明真正的递归改进仍然是一个遥远的目标。
排序理由 该集群讨论了一项评估AI代理能力的基准研究。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
the recurring pitch is that ai agents will soon redesign their own training and bootstrap runaway improvement. ai4ai-bench actually measured it. out of 263 agent submissions asked to improve algorithmic design, 141 never touched the learning procedure at all. they tweaked surroun…
The self improving AI story keeps getting told, so it's worth reading a benchmark that tests it directly. Agents got 4 hours to rewrite a training algorithm for real gains. Result: mostly hyperparameter tuning, not algorithmic invention. The gap between proposing a change and fin…