OLMo 1B
PulseAugur coverage of OLMo 1B — every cluster mentioning OLMo 1B across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的Arkios语言模型在英语-尼泊尔语文本上进行训练
研究人员推出了Arkios，一个拥有10.4亿参数的语言模型，该模型在1500亿个英语和尼泊尔语的token上进行了训练。该模型使用了自定义训练堆栈和梵文感知分词器。评估显示，Arkios在ARC-Easy和ARC-Challenge基准测试中表现优于同类开放模型，但这可能是由于与基准测试的数据重叠，而非整体能力。该研究还强调了评估低资源语言模型所面临的挑战，因为标准的单项选择题提示可能导致尼泊尔语理解的随机猜测结果。
-
LLM研究探讨参数重要性、提示复杂性和任务依赖鲁棒性
近期研究探讨了大语言模型（LLM）及其参数的复杂性。一项研究表明，“超级权重”（Super Weights）在完整时对模型性能至关重要，但在单独训练时却会产生负面影响，这表明参数重要性并不等同于单独训练能力。另一篇论文引入了“提示复杂性”（prompting complexity）作为从LLM获得特定输出所需的最短提示的度量标准，并提出它作为Kolmogorov复杂性的LM相对类比。此外，研究表明提示鲁棒性因任务而异，主观问题比客观问…
-
新方法通过消融实验验证大语言模型电路
研究人员开发了一种新方法，通过聚类注意力头共激活统计数据来发现大语言模型中的电路。这种方法被称为“闭环验证电路发现”，使用因果消融来确认这些已识别的组件组是否确实作为电路运行。该方法已在 Pythia 1B 和 OLMo 1B 等模型上进行了测试，证明了其在识别统计上显著的电路方面的有效性，同时也显示了其在混合专家模型中的局限性。