研究人员开发了一种名为热带轴向注意力(Tropical Axial Attention)的新型神经网络架构,它用最大加(max-plus)算子取代了标准的 softmax 点积注意力。这种方法会产生一个分段线性的结构,与动态规划方法一致,使其适用于系统发育树推断。该模型从序列比对中学习成对距离,并使用 L1 和热带对称距离度量损失的组合进行训练,并增加了对超度量违反的惩罚。在 DS1-DS11 比对上的实证测试显示,与 Phyloformer 和 Phyloformer 2 等现有模型相比,平均绝对误差(Mean Absolute Error)有了显著改善,这表明热带注意力作为系统发育推断的几何归纳偏置(geometric inductive bias)的效用,尤其是在处理分布变化和需要树度量一致性时。 AI
影响 引入了一种新颖的神经网络架构,有望改进生物序列分析和系统发育建模。
排序理由 详细介绍新神经网络架构及其应用的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- DS1-DS11
- FastMed Urgent Care
- Hugging Face
- Phyloformer
- Phyloformer 2
- Ruriko Yoshida
- Tropical Axial Attention
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →