Residual streaming flows in buoyancy-driven cross-shore exchange
PulseAugur coverage of Residual streaming flows in buoyancy-driven cross-shore exchange — every cluster mentioning Residual streaming flows in buoyancy-driven cross-shore exchange across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LLM 训练因残差流精度损失而停滞，使用 bf16。
使用 bfloat16 (bf16) 训练大型语言模型会导致残差流中出现严重的精度损失，使得小更新被舍入掉。这是因为 bf16 数字之间可表示的间隔会随着数值增大而增大，而残差流会累积许多小更新。模拟显示，bf16 残差流损失了 fp32 全精度流中漂移的很大一部分。建议的解决方案包括将残差路径保留在 fp32 中，同时使用 bf16 进行矩阵乘法，或采用随机舍入来减轻偏差。
-
研究揭示 logits 可能泄露 LLM 的敏感信息
一篇新的研究论文探讨了大型语言模型信息泄露的可能性，即使是在最终的 logits 层面。研究人员使用视觉-语言模型，比较了从完整的残差流到压缩瓶颈（如 top-k logits）等不同表征阶段保留的信息。研究发现，易于访问的瓶颈，例如模型的 top logit 值，可能会无意中泄露图像查询中的与任务无关的信息，有时泄露的信息量与整个残差流的直接投影相当。
-
新研究发现大型语言模型中具有惊人影响力的“弱化神经元”
研究人员在基于 Transformer 的大型语言模型（LLMs）中识别出一种特定的神经元类型，称为“弱化神经元”。这些神经元的输入和输出权重向量之间的余弦相似度为负，似乎会削弱模型残差流中的某些方向。对九种不同 LLMs 的分析显示出一种一致的模式：弱化神经元主要出现在后层，而强化神经元在早层更常见。尽管数量稀少，这些弱化神经元对模型行为表现出显著影响，尤其是在与负门控值相关时，这一现象挑战了当前对神经网络功能的理解。
-
Anthropic 研究揭示 Claude 的内部“工作区”用于推理
Anthropic 在 2026 年 7 月发布的一项研究探讨了其 Claude 语言模型的内部工作机制，重点关注其 Transformer 架构中的一个可重用“工作区”。这个工作区位于残差流中，由 Claude 在思考过程中读取和写入的内部表征组成。研究人员发现，他们可以操纵这些表征来改变 Claude 的响应，这表明通过跨多个 Transformer 层的迭代改进，存在一种类似生物学的复杂推理机制。
-
新方法通过处理稠密激活来提高神经网络的可解释性
研究人员提出了一种新方法来提高神经网络的可解释性，他们质疑了所有激活内容都可以稀疏分解的假设。他们假设激活包含一个计算上重要的、低秩的、稠密成分，不适合稀疏表示。为了解决这个问题，他们在标准稀疏自编码器（SAE）旁边引入了一个小的线性瓶颈，允许在稀疏重建之前吸收稠密结构。这种方法在 Gemma-2-2B 第 12 层上，显著减少了稠密潜在计数，同时提高了稀疏探测和目标探测扰动。