实体
Pythia-1.4B
Pythia-1.4B
PulseAugur coverage of Pythia-1.4B — every cluster mentioning Pythia-1.4B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的Arkios语言模型在英语-尼泊尔语文本上进行训练
研究人员推出了Arkios，一个拥有10.4亿参数的语言模型，该模型在1500亿个英语和尼泊尔语的token上进行了训练。该模型使用了自定义训练堆栈和梵文感知分词器。评估显示，Arkios在ARC-Easy和ARC-Challenge基准测试中表现优于同类开放模型，但这可能是由于与基准测试的数据重叠，而非整体能力。该研究还强调了评估低资源语言模型所面临的挑战，因为标准的单项选择题提示可能导致尼泊尔语理解的随机猜测结果。
-
新的 ReSAE 方法增强了 Transformer 模型干预
研究人员开发了残差稀疏自编码器（ReSAEs）来改进 Transformer 模型的多层干预。与独立训练层的传统方法不同，ReSAEs 通过在早期层的未解释残差上训练后续层来考虑 Transformer 层之间的强耦合。这种方法减少了冗余并增强了干预的有效性，如在 Pythia-1.4B 和 Gemma-2-9B 模型上所证明的。ReSAEs 保留了关键的计算组件，从而在多层替换期间的交叉熵减少等任务中提高了性能。
-
研究发现自训练重构语言模型
一篇新的研究论文挑战了对语言模型自训练的普遍理解，认为它重构而非扁平化语言。研究发现，虽然话语标记等表面语言特征有所增加，但问句和被动语态等深层句法结构却有所下降。这种“结构深度假说”认为，语言特征的衰减率主要由其结构复杂性决定，而不仅仅是模型输出中的频率。