Softmax
PulseAugur coverage of Softmax — every cluster mentioning Softmax across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
小型 LLM 的注意力头被分析,一个关注主角的名字
本文深入探讨了一个小型语言模型注意力机制的内部工作原理,特别检查了所有 24 个注意力头。作者发现,一个特定的注意力头将很大一部分注意力用于识别故事中的主角名字。文章解释了注意力如何使用查询(query)、键(key)和值(value)向量来确定哪些先前的词与当前词最相关,并通过角色 Momo 和 Ella 进行了说明。它还触及了因果掩码(causal mask),它阻止模型向前查看文本,以及 KV 缓存(KV cache),这是一个…
-
MOAI 框架通过优化的同态加密 (HE) 提升安全 Transformer 推理性能
研究人员开发了 MOAI,一个旨在通过同态加密 (HE) 提高非交互式安全 Transformer 推理效率的新型框架。MOAI 通过优化评估流程、采用无旋转的 Softmax 和 LayerNorm 算法以及减少矩阵乘法中的 HE 旋转来解决 HE 的计算开销问题。与现有方法相比,这种方法显著缩短了评估时间,并在 BERT-base、Powerformer 和 LLaMA-3-8B 等模型上展示了潜在应用。
-
新理论重塑了针对不平衡和开放集数据时的神经坍塌
开发了一个新的神经坍塌(NC)理论框架,解决了不平衡数据集和开放集场景带来的挑战。该研究使用类平均损失而非全局损失来重塑NC,证明了标准NC在交叉熵和二元交叉熵的类平均损失最小值处即可实现。该研究还将此扩展到开放集条件,表明未知类的分类器向量会重叠并与已知类正交,而标准NC在已知类上仍然存在。此外,该论文还证明了重新平衡的基于Softmax和Sigmoid的对比损失在不平衡数据集上的最小值处也表现出标准NC。
-
新理论以二次界限认证Transformer注意力机制
研究人员开发了一种新的圆锥规划理论,用于认证Transformer模型中的注意力机制。该理论解决了由于查询和键的变化交互而导致的输入扰动下注意力输出的NP-hard认证问题。新方法提供了一个误差以可计算量的二次方为界的认证,比线性传播方法提供了更紧密的界限。在GPT-2上的实验证明了该理论的有效性,在固定查询的情况下,实现了针对精确最坏情况的预测精度。
-
AI注意力机制在新研究中面临复杂性挑战
两篇新研究论文探讨了AI模型中注意力机制的复杂性。第一篇论文详细介绍了一种softmax注意力算法,该算法实现了长上下文的近线性时间复杂度,改进了现有界限,并匹配了理论上的最大内积限制。第二篇论文表明,融合多个注意力头可能需要指数级增加“原子”(键值条目)的数量才能精确表示输出,这凸显了潜在的可扩展性问题。
-
Transformer 注意力物理机制导致 LLM 负面约束适得其反
开发者发现,直接用负面约束(例如“不要创建新文件”)指示大型语言模型通常会适得其反。这是因为 Transformer 中的自注意力机制,特别是带有 Softmax 的机制,难以有效解释否定,反而会无意中关注被禁止的操作。为了解决这个问题,开发了一种“成对不变标准”,将负面规则与明确的肯定性指令相结合,以更可靠地指导模型的行为。
-
研究人员分析专家混合模型中的 Softmax 路由动态
研究人员调查了专家混合(MoE)模型中 Softmax 路由的动态,观察到它会导致概率集中在部分专家上,从而有效地抑制其他专家。该研究探讨了这种集中的形成和持续性,以及概率恢复的机制。他们确定了固定专家的固定损失障碍,并发现对于具有可训练专家输出的模型,适应率会影响路由限制。研究还提出了一种分解协方差和梯度优势的方法,在特定条件下揭示了对数或幂律恢复时间。使用 Transformer-MoE 训练进行的实验表明,改变路由器梯度对比会影…
-
新研究详细介绍了Transformer的线性成本微调
arXiv上的一篇新研究论文介绍了一种显著降低计算成本的Transformer微调方法。所提出的技术允许从噪声数据中恢复源任务的任意精度,并通过仅微调特定矩阵因子来实现高效的分布外适应。与传统方法相比,这种线性成本微调方法大大降低了所需的计算资源。
-
新论文揭示机器学习库中的数值问题,并提出修复方案
Barron 等人最近的一篇论文指出了 PyTorch 和 JAX 等常用机器学习库中 Softmax 和交叉熵函数存在的数值问题。研究人员证明,基于属性的测试(特别是使用 Hypothesis)可以发现这些问题。他们的工作还提出了一个更稳健的 Softmax 实现,解决了这些问题并支持因果注意力掩码,代码可在 GitHub 上获取。
-
新的RLVR研究揭示了采样器不匹配下的熵漂移
一篇新论文提出了一种“符号律”,用于理解可验证奖励强化学习(RLVR)中的熵漂移,特别是在用于滚动的采样器与学习者应用的采样器不同的情况下。研究表明,这种采样器不匹配会导致策略熵的可预测变化,对模型的稳定性和准确性产生影响。在2B模型和9B推理模型上的实验表明,纠正这种漂移可以显著提高模型在未见过数据上的准确性,尤其是在无法进行精确采样的情况下。
-
研究人员修复了 Softmax 和交叉熵实现中的数值错误
研究人员已识别并修复了标准 softmax、log-softmax 和交叉熵实现中的两个数值错误。第一个错误“Softmax 崩溃”会在一个 logit 显著大于其他 logit 时导致目标 logit 的梯度四舍五入为零,从而扰乱梯度和。第二个错误“Softmax 抵消”会在学生和教师 logit 相同时产生非零梯度,当这些 logit 相近时发生。提出的解决方案消除了“弹弓”现象,加速了带权重衰减的 grokking,并在没有权重…
-
新的超球面表示支持向后兼容的AI检索
研究人员开发了一种用于AI系统向后兼容检索的新方法,解决了模型更新时重新索引的昂贵过程。所提出的超球面单纯形表示源自softmax输出和logits,利用独热标签的几何结构,在无需兼容性特定训练或架构更改的情况下,跨模型版本保持一致性。该方法在理论上保证了在某些分布假设下的兼容性,并在标准基准测试中取得了有竞争力的结果,即使在扩展的类别集和更具表现力的架构下也是如此。
-
研究论文详述了极端数据驱动下的机器学习相变
一篇新发表在arXiv上的研究论文探讨了学习中的相变,特别是在极端回归问题(一种多示例学习MIL)中。该研究关注MIL中的常用技术——最大池化(max pooling)如何导致梯度消失。为解决此问题,研究人员提出用软最大值(softmax)近似最大值函数,其中锐度(sharpness)是一个可学习的参数。论文推导了最小模型中梯度流的投影,揭示了两种不同的相变:内在冻结相变(intrinsic freezing transition)和…
-
视频解释LLM架构、神经元和Transformer
这是一个简短的视频,解释了大型语言模型(LLM)的基本工作原理。它涵盖了神经元、Softmax函数、层和Transformer架构等关键概念。该视频旨在为学习者提供机器学习原理的基础理解。
-
Continuum Attention 提供了优于 Softmax 的 Transformer 性能
研究人员推出了一种新颖的因果 Transformer 注意力算子 Continuum Attention (CA),它用在连续的分段线性记忆曲线上进行积分来取代离散的键值查找。该方法通过闭式指数矩精确地实现了归一化注意力,能够高效地进行并行 GPU 实现,同时保持二次序列复杂度。CA 在普通 softmax 和 focal attention 上表现出优越的性能,显著降低了验证负对数似然,并在额外的验证测试中显示出优于最强的 soft…
-
新的FA-PI方法增强了混凝土结构中的缺陷检测
研究人员开发了一种名为频率-幅度持久性图像(FA-PI)的新方法,以改进使用冲击回波测试检测混凝土结构中的缺陷。该技术从傅里叶幅度谱构建二维图像,表示频率箱位置和幅度。FA-PI在实验和公共数据集上进行了评估,与传统的原始和平滑傅里叶谱相比,尤其是在嘈杂条件下,表现出优越的性能。研究结果表明,这种二维频谱表示提高了缺陷分类的准确性。
-
新研究探讨μ子优化器的几何、性能和局限性 · 已追踪4个来源
四篇最新的arXiv论文探讨了优化算法μ子,研究了其理论基础和实际性能。第一篇论文深入研究了μ子的几何特性,引入了随机半径各向同性曲率模型(RR-ICM)来解释其稳定性,并推导了最小-最大变分表征。第二篇论文提供了一个基准,将μ子与AdamW在各种模型大小和预算下进行了比较,发现μ子减小了损失区域,但在某些条件下可能速度较慢且具有更高的遗憾。第三篇论文提出使用希尔伯特距离作为一种统一的方法来驯服μ子的Softmax行为,并将其与Row…
-
新研究将LLM中的灾难性遗忘定位到输出嵌入
研究人员发现,大型语言模型中的灾难性遗忘(模型在持续训练中会丢失先前学到的信息)存在于新训练数据中未出现的token的输出嵌入中。这种遗忘是由Adam的二阶矩归一化所放大的持续的、单向的softmax梯度驱动的。为解决此问题,提出的解决方案包括在训练期间增加Adam的epsilon值,特别是针对输出投影层。这一调整在不影响新学习或需要模型特定调优的情况下,显著减少了各种模型大小和系列的遗忘,并补充了现有的基于重放的方法。
-
LLM 的注意力机制在新颖的语境和不同模型中表现出独特的行为 · 跟踪 3 个来源
研究人员正在探索大型语言模型(LLM)的内部机制,特别是注意力函数,如何影响它们在新颖语境下的行为。一项研究提出了一种“函数混合注意力”(MoFA),该模型为 softmax 和 sigmoid 头分配固定的比例,发现这种比例对分布内任务的影响很小,但对分布外性能有显著影响,并根据比例区分文本类型。另一篇论文回顾了 LLM 中注意力机制的演变,通过记忆表示、更新、访问、读出和整合等视角分析了上下文记忆的发展,强调了深度和异构架构如何协…
-
机器学习社区辩论 softmax 优化以减少参数
r/MachineLearning 子版块上的一场讨论探讨了神经网络中 softmax 函数的一种理论优化。该提议基于 softmax 输出总和为一的数学特性,暗示有 N-1 个自由度,建议将输入到 softmax 的特征数量减少一个。这可能导致更少的参数和更快的模型收敛,尽管其实际效益受到质疑。