实体
FNET
FNET
PulseAugur coverage of FNET — every cluster mentioning FNET across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
PhasorFlow库支持单位圆计算以用于AI任务
研究人员推出PhasorFlow，一个开源Python库，专为单位圆上的计算而设计。该库正式化了相量电路模型，该模型使用酉波干涉门来保持全局范数，同时允许分量漂移。PhasorFlow还包括用于优化连续相位参数的变分相量电路，以及用无参数DFT令牌混合层替换传统注意力机制的相量Transformer。该库已在时间序列预测和金融波动等各种任务上得到验证，并在真实EEG数据上展示了具有比标准基线更少参数的竞争性能。
-
FourierQK 技术通过频谱预处理提升 Transformer 注意力 · 已追踪 2 个来源
研究人员开发了一种名为 FourierQK 的新技术，通过对查询-键投影应用频谱预处理，显著增强了 Transformer 注意力机制。该方法在 TinyShakespeare 等字符级语言建模任务上进行了测试，与标准的点积注意力相比，错误率降低了高达 79%，取得了显著的性能提升。其优势归因于全局频域混合而非度量失真，并且该方法在架构上与 FNet 等先前方法不同。