SkillsBench
PulseAugur coverage of SkillsBench — every cluster mentioning SkillsBench across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Skill Adapter 通过个性化技能修改和路由增强 LLM 代理
研究人员开发了一个名为 Skill Adapter 的新系统，旨在增强大型语言模型 (LLM) 代理的功能。该系统允许对通用技能进行个性化修改和动态路由，使代理能够更好地适应特定的用户需求和不断变化的任务环境。通过从用户反馈中提炼本地调整并将其存储为 Adapter，Skill Adapter 帮助 LLM 代理维护一个最新的、特定于任务的技能库，从而提高成功率和执行效率。
-
Moonshot AI 发布 Kimi K3.1 Pro，为安全故意削弱网络能力
Moonshot AI 发布了 Kimi K3.1 Pro，这是一个拥有百万级上下文窗口的大型开放权重模型。值得注意的是，该公司故意从该模型中移除了网络攻击相关的训练数据，导致其发现和利用安全漏洞的能力明显下降，优先考虑了安全性而非最大化能力。此举重新定义了关于开放权重模型性能的讨论，表明一些人认为其落后于闭源模型的差距可能是实验室在训练数据内容方面有意识的选择。另外，上海人工智能实验室发布了 Atria Dawn，一个拥有 512K…
-
新方法可准确衡量人工智能智能体技能内化程度
研究人员开发了一种新方法，可以准确衡量人工智能智能体何时内化了技能，从而能够更有效地从技能中心退役冗余技能。仅依赖性能提升的传统方法并不可靠，因为它们可能错误地识别技能已被内化或未被发现。所提出的方法包括保留一项技能，评估智能体在综合任务上的无辅助性能，并通过检查其他模型是否从该技能中受益来验证此分数。与现有的基于增益的规则相比，该方法在SkillsBench数据集上显示出更高的可靠性和准确性。
-
Skill$^{\infty}$ 实现 AI 代理的递归自我改进
研究人员推出了一种新颖的 AI 代理递归自我改进方法 Skill$^{\infty}$。该系统允许一个元代理使用相同的代理主导程序来优化特定任务的技能和自身的元技能。Skill$^{\infty}$ 在 83 个 SkillsBench 任务上表现出 60.7% 的通过率，优于人类策划的技能和之前称为 SkillEvolver 的方法。
-
新的PROVISO系统增强了LLM代理的安全性和实用性
研究人员开发了PROVISO，这是一种旨在增强大型语言模型（LLM）代理安全性的新型控制器。PROVISO通过根据拟议操作的来源和上下文进行评估，而不是孤立地评估，来解决LLM代理执行潜在有害操作的关键问题。该系统编码各种类型的观察结果并对其进行查询，以选择具有最高校准价值的操作，在多项代理安全任务上展示了比现有方法更高的安全性和实用性。
-
新的SPEM框架提高了LLM代理的技能效率
研究人员推出了一种新颖的SPEM框架，旨在提高大型语言模型（LLM）代理的技能利用效率和有效性。SPEM通过采用结构感知程序化记忆来应对管理大型技能库的挑战，该记忆区分单个原子技能和可重用组合。该系统优先为已知任务结构使用预先存在的Skill-DAG模板，对于新颖任务，它利用Skill-GNN基于状态和结构感知来智能选择原子技能。这种方法在ALFWorld和SkillsBench等基准测试中显著提高了成功率和奖励，同时降低了计算成本。
-
新的Python工具可检测LLM代理批准劫持漏洞
一个新开发的Python检查器工具，用于识别链式LLM代理技能中的安全漏洞，特别是专注于“批准劫持”。该技术利用两个看似无害的技能如何通过使用进度文件作为中介，共同欺骗代理执行未经授权的操作。该检查器实现了基于技能和基于链的规则来检测这些恶意模式，突显了静态分析在应对不断发展的攻击方法方面的局限性。
-
RTK 代币节省声明受到独立 AI 编码成本基准测试的质疑
Hacker News 上的一篇博文质疑了 Rust Token Killer (RTK) 的有效性，RTK 是一种旨在通过压缩终端输出来降低 AI 编码成本的工具。虽然 RTK 声称节省了大量代币，但使用 Claude Code 和 DeepSeek V4 Pro 0813 在 Terminal-Bench 2.1 数据集上进行的独立基准测试显示结果好坏参半。对于 Claude Code，RTK 仅提供了 5% 的边际成本降低，但通…
-
新的SE-GoS框架增强了LLM代理的技能检索能力
研究人员开发了SE-GoS，一个旨在通过改进技能检索来提高大型语言模型（LLM）代理效率的新颖框架。这种无需训练的方法利用历史执行轨迹演化现有的技能图谱，优化拓扑结构、边权重和技能描述。在SkillsBench上针对三种不同的LLM进行的实验表明，与静态技能加载相比，SE-GoS在任务奖励方面持续提升，并减少了令牌使用量，且改进能有效迁移到新任务。
-
AI代理技能在跨平台迁移中悄然失效
一位开发者在将AI代理技能从Claude Code迁移到OpenCode时遇到了静默故障，他发现尽管文件可以加载且描述匹配，但底层功能却已降级。这是因为迁移工具通常只传输名称和描述等基本字段，而忽略了特定于环境的前置信息，例如`allowed-tools`或`context: fork`。这些缺失的字段可能导致安全漏洞，例如失去只读约束，或者执行环境发生变化，从而导致意外行为，而这些行为并不立即显现。
-
新的AI代理方法解决了技能管理和自我改进问题
一篇新论文介绍了一种名为SkillComposer的方法，通过将技能选择视为联合决策而非独立选择来管理AI编码代理中的技能。该方法使用约束自回归解码器一次性生成技能计划，在SkillsBench基准测试上，GPT-5.2 Codex的性能提高了23个百分点以上，Gemini 3 Pro Preview的性能提高了18个百分点。另一篇论文提出了Red Queen Gödel Machine，这是一个自改进代理系统，代理及其评估器共同进化…
-
LLM智能体通过技能重写和翻译策略优化成本
研究人员正在探索大型语言模型智能体的成本感知策略，以提高效率和性能。一篇论文介绍了一个技能重写框架，该框架通过保留关键操作锚点来优化成本，从而降低了智能体成本。另一项研究侧重于成本感知的翻译工具使用，开发了一种强化学习策略，该策略能够智能地决定何时翻译输入，以利用LLM的能力而不产生不必要的费用，特别有利于低资源语言。第三篇论文提出了一个用于机器翻译源重写的强化学习框架，该框架直接优化下游翻译质量，性能优于基于提示的方法。
-
SkillDAG 通过演化图改进LLM代理技能选择
研究人员开发了SkillDAG，一个将LLM代理的技能间关系建模为类型有向图的新颖系统。该图在执行期间动态更新和查询，使代理能够比传统方法更有效地选择技能。SkillDAG在ALFWorld和SkillsBench等基准测试中表现出显著改进，成功率超越现有基线超过12%。
-
新论文将“库漂移”识别为 LLM 技能库中的一种沉默故障模式
研究人员在自演化的 LLM 技能库中识别出一种名为“库漂移”的沉默故障模式。当技能在缺乏适当生命周期管理的情况下累积时，就会发生这种情况，导致检索效果下降和性能停滞。一篇新论文提出了一个治理框架，包括基于结果的淘汰和元技能创作来解决这个问题，并在技能库性能方面显示出显著的改进。