相干变换器推动复值神经网络发展

研究人员推出了一种新颖的复值架构——相干变换器（PCT），旨在更好地跨层保留相位信息。与传统的softmax注意力不同，PCT采用了一种平滑门控机制，用非竞争性注意力取代了token竞争。在包括长程记忆、分层推理和图像分类在内的各种基准测试评估中，PCT在LRA-Text等挑战性任务上，与标准和复值变换器相比，展现出更优越的泛化能力和性能。 AI

影响 为复值变换器引入了新的架构原则，可能提高各种任务的泛化能力和性能。

排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Hugging Face
• Leona Hioki
• LRA-Text
• Phase-Coherent Transformer
• softmax transformer
• transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →