WinoGrande
PulseAugur coverage of WinoGrande — every cluster mentioning WinoGrande across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的FPO方法无需反向传播即可适应LLM，提高吞吐量
研究人员开发了一种名为前向传播仅（FPO）训练的新方法，该方法无需通过模型层进行反向传播即可适应大型语言模型。与标准微调方法相比，该技术实现了显著更高的吞吐量并使用了更少的内存。FPO在域外基准测试中保持了性能，这是全网络微调不总是能复制的特性。该方法依赖于这样一个观察结果：Transformer中后期层的预测误差可以近似真实梯度，从而无需复杂的自动梯度图构建即可将误差信号直接应用于目标层。
-
AMD 发布拥有 2.8B 激活参数的开源 Instella-MoE-16B LLM
AMD 发布了 Instella-MoE-16B-A3B，这是一款开源的专家混合（Mixture-of-Experts）语言模型。该模型拥有 160 亿总参数，但每个 token 仅激活 28 亿参数，利用了门控多头潜在注意力（Gated Multi-head Latent Attention）和 FarSkip-Collective 连接等架构创新，以提高训练和推理速度。虽然训练代码采用 MIT 许可且高度可重用，但模型权重是在 R…
-
新的UNIFUSION方法将自回归模型适配到离散扩散模型
研究人员开发了UNIFUSION，一种将自回归语言模型适配到离散扩散模型的新颖方法。该方法在单一的广义Kullback--Leibler目标下统一了现有的扩散目标，允许在掩码和均匀噪声等不同损坏核之间无缝切换。在GPT2检查点上的评估表明，UNIFUSION改善了生成困惑度与一元熵之间的权衡，在WinoGrande和SIQA等基准测试中优于其他扩散模型。
-
新基准套件评估大语言模型在吉尔吉斯语上的理解能力
研究人员开发了KyrgyzLLM-Bench，这是一个旨在评估大语言模型（LLMs）在吉尔吉斯语上表现的新基准套件。该套件包括了本地创作的数据集，如KyrgyzMMLU和KyrgyzRC，以及已建立基准的翻译版本，如WinoGrande和TruthfulQA。研究评估了26个LLMs，结果显示，对于WinoGrande和BoolQ等任务，模型排名通常会从英语迁移到吉尔吉斯语，但HellaSwag由于翻译的痕迹可能存在显著的性能差距。研…
-
Prism Transformer 引入分层注意力的渐进式头调度
研究人员推出 Prism Transformer，这是一种新颖的架构，可修改标准的多头注意力机制。Prism Transformer 不在每个层中为每个注意力头分配相等的维度空间，而是跨层渐进地增加头的数量。这种方法建立了从局部到全局的表示层次结构，使早期层能够用更宽的头捕获复杂的局部模式，而更深的层则用更窄的头进行专业化。该架构是参数中性的，不会引入额外的训练或推理开销，但在下游零样本基准测试中始终优于统一基线。