实体
Transcoder
Transcoder
PulseAugur coverage of Transcoder — every cluster mentioning Transcoder across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法以1%的数据成本分解LLM权重以进行解释
来自IQuest Research的研究人员与牛津大学、斯坦福大学等机构合作，推出了一种名为稀疏权重分解（SWD）的新型大语言模型解释方法。与以往需要训练新网络来理解现有网络的方法不同，SWD直接将密集权重矩阵分解为稀疏因子。这使得可以从预训练权重中提取“瓶颈单元”，这些单元可以以显著降低的数据成本进行独立分析和操作，通常低于传统方法的1%。在GPT-2、Qwen2.5和Qwen3.5-27B等模型上的实验表明，SWD能够以更少的参数…
-
新方法从密集Transformer中提取可解释电路
研究人员开发了稀疏权重分解（SWD）方法，这是一种从密集预训练Transformer模型中提取可解释电路的新颖方法。与需要额外训练或引入保真度差距的先前方法不同，SWD将权重矩阵分解为稀疏分量，从而无需重新训练即可直接进行电路分析。该技术在性能上可媲美或超越现有方法，同时使用的资源（数据和计算）却显著减少。SWD已在GPT-2、Qwen2.5和Qwen3.5-27B等多种模型上证明了其有效性，并提供了一种零数据变体，以实现更广泛的机械…