Parsimony 是一个新推出的开源基准,旨在根据 AI 模型添加的代码量来评估它们,而不是仅仅看成功率。Parsimony 的开发旨在解决代码库的长期可维护性问题,它通过计算特定编码单元(如语句和调用)的数量来衡量代码大小,并减去删除的代码。该基准通过已解决任务的平均净添加单元数对模型进行排名,分数越低表示代码生成效率越高。 AI
影响 该基准可能会推动 AI 模型生成更简洁、更易于维护的代码,从而影响开发人员的生产力和软件的长期成本。
排序理由 用于评估 AI 模型代码生成效率的新基准。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →