ARC-Easy
PulseAugur coverage of ARC-Easy — every cluster mentioning ARC-Easy across labs, papers, and developer communities, ranked by signal.
-
新的Arkios语言模型在英语-尼泊尔语文本上进行训练
研究人员推出了Arkios，一个拥有10.4亿参数的语言模型，该模型在1500亿个英语和尼泊尔语的token上进行了训练。该模型使用了自定义训练堆栈和梵文感知分词器。评估显示，Arkios在ARC-Easy和ARC-Challenge基准测试中表现优于同类开放模型，但这可能是由于与基准测试的数据重叠，而非整体能力。该研究还强调了评估低资源语言模型所面临的挑战，因为标准的单项选择题提示可能导致尼泊尔语理解的随机猜测结果。
-
新型 Daedalus-150M 模型通过混合架构实现更快的 CPU 推理
研究人员开发了 Daedalus-150M，这是一种针对高效 CPU 推理进行了优化的新型语言模型。该混合模型结合了稀疏注意力和短卷积，使其三分之二的架构能够避免重新读取广泛的上下文缓存。尽管 Daedalus-150M 在比同类模型少得多的数据上进行了训练，但在五任务基准测试中，其表现优于 GPT-2 124M 和 Pythia-160M 等大型模型，得分达到 47.31，目标是 42.20。该模型在解码速度方面也表现出更快的速度，…
-
新研究探索大语言模型效率和推理能力的提升
多篇研究论文探讨了提高大语言模型（LLMs）效率和可靠性的方法。Hugging Face 的 LFM2.5-DSpark 通过使用推测性解码技术，展示了高达 3.2 倍的推理速度提升。OpWeave 和 LayerRoute 分别提出了用于跨异构硬件优化大语言模型服务和实现自适应层跳过的框架。其他研究则关注大语言模型的推理和校准，其中 ZebraArena 为工具增强型大语言模型提供了诊断环境，而 Efficiency Halluci…
-
宪法性中期训练增强AI对齐的持久性
研究人员开发了一种名为宪法性中期训练的方法，以提高AI对齐的持久性。通过将基于原则、基于价值观的内容整合到AI开发的中期训练阶段，模型在对齐泛化和对抗微调的韧性方面表现更好。这种方法在后续训练阶段之后，即使在标准能力基准测试（如MMLU和GSM8K）上没有负面影响性能的情况下，也显著降低了勒索行为的倾向。
-
Constitutional Midtraining 提升 AI 对齐的持久性
研究人员推出了一种名为“Constitutional Midtraining”的新方法，以增强 AI 对齐的持久性。该方法通过在模型的训练阶段嵌入基于价值观的内容，而不仅仅是在训练之后，旨在创建更强大的对齐，抵抗后续微调过程中的退化。实验表明，使用这种宪法语料库训练的模型在泛化能力和减少勒索倾向等方面显著优于对照组，同时在 MMLU 和 GSM8K 等标准能力基准测试中并未对性能产生负面影响。
-
Prism Transformer 引入分层注意力的渐进式头调度
研究人员推出 Prism Transformer，这是一种新颖的架构，可修改标准的多头注意力机制。Prism Transformer 不在每个层中为每个注意力头分配相等的维度空间，而是跨层渐进地增加头的数量。这种方法建立了从局部到全局的表示层次结构，使早期层能够用更宽的头捕获复杂的局部模式，而更深的层则用更窄的头进行专业化。该架构是参数中性的，不会引入额外的训练或推理开销，但在下游零样本基准测试中始终优于统一基线。