Mount Holyoke College
PulseAugur coverage of Mount Holyoke College — every cluster mentioning Mount Holyoke College across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
DAGFormer通过全局拓扑预测提升Transformer效率
研究人员推出了一种新颖的Transformer架构DAGFormer，通过全局预测跨层连接来提高效率。这种方法与逐层路由方法不同，允许从早期层到后期层的直接连接，并且每个连接的强度根据输入令牌动态控制。DAGFormer在WikiText-2等基准测试中展示了困惑度的显著提高，并且与标准Transformer和其他路由架构相比，在下游任务和指令调优方面表现更好。
-
新研究探讨注意力机制、稀疏模型和LLM监控
多篇研究论文探讨了大型语言模型和神经网络注意力机制的进展。一篇论文详细介绍了对llama.cpp存储库的修复，以解决注意力计算中的KQ偏差。其他研究深入探讨了稀疏注意力中信息损失与泛化之间的理论权衡，提出了使用量化softmax预训练Transformer的方法，并引入了一种新颖的基于注意力的神经网络，用于XY模型的采样。此外，还提出了一种名为LEMON的新方法，用于使用注意力图对LLM进行零样本误行为监控，另一项研究对注意力头进行排…
-
DeepSeek-V4 Flash 模型选择性使用残差流，研究发现
研究人员调查了 DeepSeek-V4 Flash 模型如何利用其四流残差路径，该路径旨在增强不同流之间的连接性。他们的分析显示，虽然该模型具有广泛使用流的能力，但它在每个注意力或 FFN 位点选择性地使用大约两个流，并且主导流在不同层之间切换。研究还发现，残差混合非常少，尤其是在后期层中，流基本上独立运行。实验表明，修改这些后期混合器对性能的影响很小，这表明该模型并未充分利用其架构的灵活性。
-
智谱AI公布Loop Transformer研究及10万加速器推理进展
中国AI公司智谱AI披露了其在研究和基础设施方面的重大进展。该公司据称正在探索用于增强模型能力的“Loop Transformer”，OpenAI的Astra模型可能已在使用该技术。智谱AI还在运行超过10万个中国加速器的推理方面取得了重大里程碑，据称这使基础设施优化所需的时间缩短了一半。
-
新的PEFT方法mHC与LoRA结合可增强Transformer微调
研究人员推出了一种新颖的参数高效微调（PEFT）方法——流形约束超连接（mHC），用于Transformer模型。该方法修改了残差连接，这是其他PEFT技术通常保持不变的组件。虽然mHC本身并不总是优于LoRA，但在1B和7B参数的模型上，mHC与LoRA的组合在语言建模损失和特定任务基准测试中均有所提高。
-
xHC 方法将 Transformer 流扩展到 N=4 以上，以改进 LLM 预训练
研究人员推出了一种新颖的 xHC（扩展超连接）方法，用于将 Transformer 模型扩展到 N=4 流的典型限制之外。这种新方法解决了先前超连接（HC）方法中的瓶颈，例如写回信息不足和计算成本高昂的残差混合生成。通过结合时间特征增强和稀疏残差流架构，xHC 能够有效地扩展到 N=16 流，在 18B 和 28B MoE 模型上显示出显著的下游改进。此外，还提出了 xHC-Flash 以减少内存流量，使大 N 残差流扩展在 LLM …
-
人工智能技术探索：记忆、推理、微调与Token
一篇博文综合了当前和新兴的人工智能技术，重点关注记忆、推理、微调和Token化。文章强调了诸如Manifold-Constrained Hyper-Connections (mHC) 等进展以及既有方法。文章引用了包括The Turing Post在内的各种来源，以提供对人工智能格局的全面概述。
-
DeRes架构通过双残差路径改进CTR预测
研究人员推出了一种新颖的Transformer基础CTR预测模型架构DeRes，它解耦了残差稳定性和自适应性。这种新设计采用了并行的恒等映射和注意力块残差路径，能够更好地保留早期信号并更有效地回忆长距离依赖关系。DeRes在大规模数据集上表现出卓越的性能，在计算成本仅略微增加的情况下超越了现有模型，并提供了显著更陡峭的计算-AUC缩放定律。
-
DeepSeek V4 引入流形约束超连接
DeepSeek V4 是一个先进的语言模型，建立在其前身 DeepSeek V3 的基础上。V4 架构引入了压缩稀疏注意力（CSA）、重度压缩注意力（HCA）和流形约束超连接（mHC）等新组件。本文重点解释 mHC，这是一种通过采用多个并行残差流来增强神经网络中传统残差连接的技术，从而实现更结构化和稳定的训练。
-
新的mHC架构改变了AI模型中注意力头的行为
研究人员调查了流形约束超连接（mHC）这一在Deepseek v4中实现的新型架构对模型可解释性的影响。实验显示，mHC模型中的先前标记注意力头表现出不同的行为，出现在更早的层中，并与高峰度分数相关，这与在标准模型中通过对角条纹分数可检测到的情况不同。研究还观察到，mHC-lite模型倾向于在其残差流中输出多样化的标记，而mHC模型在标记预测方面表现出更强的统一性。