Key
PulseAugur coverage of Key — every cluster mentioning Key across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Transformer秩崩溃与梯度路径相关，而非损失强度
研究人员在Transformer中发现了一种称为“秩崩溃”的现象，其中所有token表示都对齐到单一方向，导致学习停止。实验表明，削弱跳跃连接并添加损失项并不能修复这种崩溃。问题源于梯度路径，而非损失的强度，因为梯度未能到达关键的查询和键权重。然而，恢复跳跃连接会立即重新打开路径并允许秩恢复。
-
研究质疑关系嵌入在 LLM 中的有效性
一篇新研究论文探讨了通过将关系编码器嵌入作为软 token 注入 Qwen3.5-4B 来将其集成到大型语言模型 (LLM) 中。研究发现，这种混合方法并未持续优于独立的关系 Transformer，通常表现不佳并在训练期间显示出不稳定性。研究人员建议，要在 LLM 中成功进行软 token 融合以完成关系预测任务，需要更强大的对齐目标和模式感知设计。
-
大语言模型推理优化：理解 KV 缓存
KV 缓存是大语言模型（LLM）推理的关键优化技术，可显著减少自回归文本生成过程中的冗余计算。通过存储先前处理过的 token 的 Keys 和 Values，KV 缓存将矩阵-矩阵乘法转变为更高效的矩阵-向量乘法。这项优化对于理解大语言模型的计算-内存权衡至关重要，因为它增加了内存带宽需求，并与模型权重争夺显存（VRAM），从而影响整体吞吐量和服务成本。
-
Transformer 解析：自注意力机制、并行处理和 LLM 架构
Transformer 是一种神经网络架构，它通过并行处理 token 而非像循环神经网络（RNN）那样顺序处理，从而彻底改变了 AI。这种由自注意力机制实现的并行处理，允许每个 token 直接与序列中的所有其他 token 进行比较。自注意力机制使用查询（Query）、键（Key）和值（Value）向量来确定每个 token 应给予其他 token 多少注意力，从而创建上下文感知的嵌入。这种方法通常通过多头注意力和位置编码得到增强…
-
超越注意力投影的线性：非线性查询的论证
研究人员正在探索 Transformer 注意力机制背后的基本原理，新论文分析了其梯度流结构和动态。一项研究将注意力解释为单位球面上的梯度流，识别影响多头设置中 token 聚类和稳定性的因素。另一篇论文研究了用于复杂性控制的关键训练窗口，确定 Transformer 何时优先考虑推理而非记忆。此外，研究还揭示了深度神经网络中几何连续性的起源，将其归因于残差连接和对称性破坏的非线性，并考察了“注意力汇聚”现象的结构原因。