FNET
PulseAugur coverage of FNET — every cluster mentioning FNET across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
CNet框架通过Wirtinger导数实现复杂值深度学习
研究人员开发了CNet，一个用于训练深度复杂值神经网络（CVNN）和使用Wirtinger导数优化复杂值函数的C++/CUDA框架。该框架采用物理原生方法，将神经网络视为复杂运算的级联，并将分类视为玻恩规则测量。CNet包含其层的CPU参考和CUDA内核，计算图跨批次克隆以进行GPU执行。该框架还集成了可学习的复杂卷积网络的信号处理原语和一个具有低内存推理模式的真实Adam优化器。初步研究表明，使用CNet构建的复杂值、FNet风格的…
-
PhasorFlow库支持单位圆计算以用于AI任务
研究人员推出PhasorFlow，一个开源Python库，专为单位圆上的计算而设计。该库正式化了相量电路模型，该模型使用酉波干涉门来保持全局范数，同时允许分量漂移。PhasorFlow还包括用于优化连续相位参数的变分相量电路，以及用无参数DFT令牌混合层替换传统注意力机制的相量Transformer。该库已在时间序列预测和金融波动等各种任务上得到验证，并在真实EEG数据上展示了具有比标准基线更少参数的竞争性能。
-
FourierQK 技术通过频谱预处理提升 Transformer 注意力 · 已追踪 2 个来源
研究人员开发了一种名为 FourierQK 的新技术，通过对查询-键投影应用频谱预处理，显著增强了 Transformer 注意力机制。该方法在 TinyShakespeare 等字符级语言建模任务上进行了测试，与标准的点积注意力相比，错误率降低了高达 79%，取得了显著的性能提升。其优势归因于全局频域混合而非度量失真，并且该方法在架构上与 FNet 等先前方法不同。