实体
Transformer Circuits
Transformer Circuits
PulseAugur coverage of Transformer Circuits — every cluster mentioning Transformer Circuits across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Claude Code 的“原始人”风格风险在于工作空间，而非智能
一项新分析表明，像 Claude Code 这样的 AI 模型存在的“原始人”式质量风险并非源于答案简短就不够智能，而是因为其有限的“审议工作空间”难以支持复杂的、多步推理。在 Anthropic 的研究中，这个工作空间被称为 J-space，对于需要中间步骤和同时处理多个概念的任务至关重要。虽然在某些场景下，“原始人”风格可以将输出 token 减少约 14-21%，但其每轮注入 1-1.5k token 的固定开销可能会对较短的、…
-
新的CoAx方法揭示了Transformer电路中的自修复机制
研究人员开发了一种名为条件共消融（CoAx）的新方法，以更好地理解Transformer电路的功能，特别是当它们表现出自修复能力时。该技术解决了传统方法的一个局限性，即当主要组件被移除后，休眠的备份组件会接管，从而误导分析。CoAx通过测量主要组件集被移除后剩余单元的消融效应增加，从而揭示了关键的二阶交互作用。将其应用于GPT-2-small IOI电路，CoAx显著提高了备份头的恢复能力，优于现有方法，并验证了这些恢复的备份的因果作用。