Penn Treebank
PulseAugur coverage of Penn Treebank — every cluster mentioning Penn Treebank across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
将自适应MoE门控后验应用于Qwen3.6-35B，效果有限
研究人员为Qwen3.6-35B模型开发了一种后验自适应专家混合（MoE）门控方法，旨在提高效率而无需重新训练。他们的方法作为llama.cpp的推理时补丁实现，对专家路由权重应用累积概率阈值。在Penn Treebank数据集上的实证结果表明，这种后验方法虽然减少了活动专家的数量，但并未显著提高困惑度，与基线固定k模型相比甚至可能略微降低性能。主要贡献在于为生产推理引擎提供了实际实现，并实证证明了将自适应门控应用于预训练的、固定k模型的局限性。
-
Kan Extension Transformers 统一了注意力、扩散和自条件化
研究人员推出了一种名为 Kan Extension Transformers (KETs) 的新框架，该框架通过范畴论的视角统一了各种 Transformer 实现。KETs 将 Transformer 层视为加权的结构化扩展算子，涵盖了标准注意力、Geometric Transformers 和高阶单纯形情况。该框架还连接到扩散式补全，并通过作用于分离的预测载体来引入自条件机制，从而在不泄露未来 token 的情况下揭示非因果结构。…
-
能量门控注意力通过优先处理显著性token来增强Transformer模型
研究人员推出了一种名为能量门控注意力（EGA）的新型机制，旨在通过关注谱显著性token来改进Transformer模型。该方法借鉴了流体动力学的原理，优先处理信息密集且拥有不成比例谱能量的token。EGA在TinyShakespeare和Penn Treebank等数据集上实现了显著的验证损失改进，同时参数开销极小，计算成本也无额外增加。
-
研究人员探索 Transformer 模型的权重衰减、上下文学习和加速方法
研究人员开发了几种新方法来提高 Transformer 模型的效率和理论理解。一篇论文提供了权重衰减的功能分析表征，展示了其在塑造损失景观和提高泛化能力方面的作用。另一项研究调查了 Transformer 在上下文学习过程中如何适应不同的任务难度，证明了在分布变化下的最优收敛率。此外，两篇论文提出了加速 Transformer 推理的技术：一篇使用门控子空间推理来减少内存带宽，另一篇介绍了 LEAP，一个支持层级早期退出的预训练目标，…