Qwen 开发了 FlashQLA，这是一套新的融合线性注意力内核，旨在兼容深度学习中的前向和后向传播。这些内核针对门控 Delta 网络（GDN）进行了优化，GDN 现在是 Qwen 模型家族的核心组成部分，包括 Qwen3-Next 及其后续迭代，如 Qwen3.5 和 Qwen3.6。此开发旨在提高具有扩展上下文窗口的大模型的效率和可扩展性。 AI
影响 优化大型语言模型的注意力机制，可能提高 Qwen 模型家族的训练和推理效率。
排序理由 该集群在一篇研究博客文章中描述了一套用于深度学习模型注意力机制的新技术内核。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
