实体
Pythia-1.4B
Pythia-1.4B
PulseAugur coverage of Pythia-1.4B — every cluster mentioning Pythia-1.4B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 ReSAE 方法增强了 Transformer 模型干预
研究人员开发了残差稀疏自编码器（ReSAEs）来改进 Transformer 模型的多层干预。与独立训练层的传统方法不同，ReSAEs 通过在早期层的未解释残差上训练后续层来考虑 Transformer 层之间的强耦合。这种方法减少了冗余并增强了干预的有效性，如在 Pythia-1.4B 和 Gemma-2-9B 模型上所证明的。ReSAEs 保留了关键的计算组件，从而在多层替换期间的交叉熵减少等任务中提高了性能。
-
研究发现自训练重构语言模型
一篇新的研究论文挑战了对语言模型自训练的普遍理解，认为它重构而非扁平化语言。研究发现，虽然话语标记等表面语言特征有所增加，但问句和被动语态等深层句法结构却有所下降。这种“结构深度假说”认为，语言特征的衰减率主要由其结构复杂性决定，而不仅仅是模型输出中的频率。