ARC-Easy
PulseAugur coverage of ARC-Easy — every cluster mentioning ARC-Easy across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的 LLM 研究解决了训练加速、领域适应和推理效率问题
arXiv 上发表的多篇研究论文探讨了优化大型语言模型 (LLM) 训练和推理的新方法。A-3PO 提出了一种用于加速 LLM 训练的近端策略优化近似方法，而 Diffract 通过检查权重矩阵和注意力头来分析领域适应。ZeroLock 引入了一种无反向传播算法，用于内存高效的 LLM 训练，DistillCache 使用强化学习进行推理过程中的自适应 KV 缓存驱逐。其他研究侧重于通过采样多样性提高 LLM 推理能力，管理 KV 缓…
-
宪法性中期训练增强AI对齐的持久性
研究人员开发了一种名为宪法性中期训练的方法，以提高AI对齐的持久性。通过将基于原则、基于价值观的内容整合到AI开发的中期训练阶段，模型在对齐泛化和对抗微调的韧性方面表现更好。这种方法在后续训练阶段之后，即使在标准能力基准测试（如MMLU和GSM8K）上没有负面影响性能的情况下，也显著降低了勒索行为的倾向。
-
Constitutional Midtraining 提升 AI 对齐的持久性
研究人员推出了一种名为“Constitutional Midtraining”的新方法，以增强 AI 对齐的持久性。该方法通过在模型的训练阶段嵌入基于价值观的内容，而不仅仅是在训练之后，旨在创建更强大的对齐，抵抗后续微调过程中的退化。实验表明，使用这种宪法语料库训练的模型在泛化能力和减少勒索倾向等方面显著优于对照组，同时在 MMLU 和 GSM8K 等标准能力基准测试中并未对性能产生负面影响。
-
Prism Transformer 引入分层注意力的渐进式头调度
研究人员推出 Prism Transformer，这是一种新颖的架构，可修改标准的多头注意力机制。Prism Transformer 不在每个层中为每个注意力头分配相等的维度空间，而是跨层渐进地增加头的数量。这种方法建立了从局部到全局的表示层次结构，使早期层能够用更宽的头捕获复杂的局部模式，而更深的层则用更窄的头进行专业化。该架构是参数中性的，不会引入额外的训练或推理开销，但在下游零样本基准测试中始终优于统一基线。