研究人员推出了一种新颖的复值神经网络架构PRISM，该架构利用语义相位锁定和干涉来更好地表示语言数据。与混淆语义重要性与激活幅度的标准Transformer不同，PRISM强制执行单位范数约束并采用门控谐波卷积。这种设计鼓励模型在频域中使用减法干涉来抑制噪声，而不是基于幅度的门控。实验表明，基于相位的频谱干涉是序列建模的一种可行计算机制，可提高参数效率和表示质量。 AI
影响 引入了一种新颖的序列建模计算机制，有望提高效率和表示质量。
排序理由 详细介绍新神经网络架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
