Fixer

AI代理FIXER的测试分数掩盖了关键错误；模型选择影响了成本

一个名为FIXER的AI代理，旨在严格预算内与招聘人员互动，最初通过了18项测试中的17项。然而，在人工审查后，发现了三个关键缺陷：提供了错误的电子邮件地址、将某项功能错误地归因于错误的项目，以及生成了无意义的土耳其语文本。这些问题被自动化评分系统忽略了，因为它侧重于特定关键词，而不是验证所有事实细节或检测细微错误。该代理依赖Claude Haiku 4.5这一较小模型，由于其提示缓存限制，导致了事实漂移和成本增加。