AstraCode

AstraCode 发现任务成本而非 token 成本对 AI 代理至关重要

AstraCode 发现，衡量每个已完成任务的成本，而不是每个 token 的成本，是评估 AI 代码生成代理更有效的指标。他们的实验表明，代理执行的步骤数量显著影响总成本，一些昂贵的模型比便宜的模型效率更高。他们还发现，由于任务成功率的固有差异，基于提示将任务路由到不同大小的模型是无效的，但只有在检查失败时才升级到更强模型的检测机制在提高通过率方面取得了成功。