一位开发者对旨在提高 LLM 编码能力的各种“代理技能”的有效性进行了基准测试，发现许多流行且评分很高的技能在与安慰剂提示进行比较时表现不佳。该基准测试通过将技能与无指令基线和长度相似但没有功能性指令的安慰剂提示进行比较来严格测试技能。结果表明，一些技能，包括一个广泛使用的基于 Andrej Karpathy 指导方针的技能，与安慰剂相比几乎没有改进，这表明仅仅存在一个听起来自信的指令就可以影响 LLM 的输出，而没有提供实际的功能性好处。开发者还指出，他们自己开发的两个技能未能达到基准测试对改进的严格标准。 AI
影响 强调了对 LLM 代理技能有效性可能的高估，以及严格、安慰剂对照评估的重要性。
排序理由 开发者的个人基准测试和对现有工具的分析，而非主要发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
