研究人员开发了一种名为 Nyström attention 的新方法,该方法在横截面股票预测任务中可媲美全注意力机制的性能。这种新方法分解了股票间的多头注意力模块,该模块占模型参数和预测价值的很大一部分。研究发现,虽然学习到的注意力几乎是均匀的,但强制精确均匀会消除预测能力,这表明低秩近似是关键。Nyström attention 使用有限数量的地标,以降低的计算成本实现了与全注意力机制的认证等价性。 AI
影响 这项研究通过降低计算成本,有望为更高效、更有效的金融预测人工智能模型带来突破。
排序理由 该条目是一篇学术论文,详细介绍了机器学习中注意力机制的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- graph convolutional network
- Hugging Face
- IArxiv Recommender
- Litmaps
- long short-term memory
- MaSTer
- Nyström attention
- ScienceCast
- scite Smart Citations
- Tost
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →