SkillsBench
PulseAugur coverage of SkillsBench — every cluster mentioning SkillsBench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
RTK 代币节省声明受到独立 AI 编码成本基准测试的质疑
Hacker News 上的一篇博文质疑了 Rust Token Killer (RTK) 的有效性，RTK 是一种旨在通过压缩终端输出来降低 AI 编码成本的工具。虽然 RTK 声称节省了大量代币，但使用 Claude Code 和 DeepSeek V4 Pro 0813 在 Terminal-Bench 2.1 数据集上进行的独立基准测试显示结果好坏参半。对于 Claude Code，RTK 仅提供了 5% 的边际成本降低，但通…
-
新的SE-GoS框架增强了LLM代理的技能检索能力
研究人员开发了SE-GoS，一个旨在通过改进技能检索来提高大型语言模型（LLM）代理效率的新颖框架。这种无需训练的方法利用历史执行轨迹演化现有的技能图谱，优化拓扑结构、边权重和技能描述。在SkillsBench上针对三种不同的LLM进行的实验表明，与静态技能加载相比，SE-GoS在任务奖励方面持续提升，并减少了令牌使用量，且改进能有效迁移到新任务。
-
AI代理技能在跨平台迁移中悄然失效
一位开发者在将AI代理技能从Claude Code迁移到OpenCode时遇到了静默故障，他发现尽管文件可以加载且描述匹配，但底层功能却已降级。这是因为迁移工具通常只传输名称和描述等基本字段，而忽略了特定于环境的前置信息，例如`allowed-tools`或`context: fork`。这些缺失的字段可能导致安全漏洞，例如失去只读约束，或者执行环境发生变化，从而导致意外行为，而这些行为并不立即显现。
-
新的AI代理方法解决了技能管理和自我改进问题
一篇新论文介绍了一种名为SkillComposer的方法，通过将技能选择视为联合决策而非独立选择来管理AI编码代理中的技能。该方法使用约束自回归解码器一次性生成技能计划，在SkillsBench基准测试上，GPT-5.2 Codex的性能提高了23个百分点以上，Gemini 3 Pro Preview的性能提高了18个百分点。另一篇论文提出了Red Queen Gödel Machine，这是一个自改进代理系统，代理及其评估器共同进化…
-
LLM智能体通过技能重写和翻译策略优化成本
研究人员正在探索大型语言模型智能体的成本感知策略，以提高效率和性能。一篇论文介绍了一个技能重写框架，该框架通过保留关键操作锚点来优化成本，从而降低了智能体成本。另一项研究侧重于成本感知的翻译工具使用，开发了一种强化学习策略，该策略能够智能地决定何时翻译输入，以利用LLM的能力而不产生不必要的费用，特别有利于低资源语言。第三篇论文提出了一个用于机器翻译源重写的强化学习框架，该框架直接优化下游翻译质量，性能优于基于提示的方法。
-
SkillDAG 通过演化图改进LLM代理技能选择
研究人员开发了SkillDAG，一个将LLM代理的技能间关系建模为类型有向图的新颖系统。该图在执行期间动态更新和查询，使代理能够比传统方法更有效地选择技能。SkillDAG在ALFWorld和SkillsBench等基准测试中表现出显著改进，成功率超越现有基线超过12%。
-
新论文将“库漂移”识别为 LLM 技能库中的一种沉默故障模式
研究人员在自演化的 LLM 技能库中识别出一种名为“库漂移”的沉默故障模式。当技能在缺乏适当生命周期管理的情况下累积时，就会发生这种情况，导致检索效果下降和性能停滞。一篇新论文提出了一个治理框架，包括基于结果的淘汰和元技能创作来解决这个问题，并在技能库性能方面显示出显著的改进。