topological deep learning
PulseAugur coverage of topological deep learning — every cluster mentioning topological deep learning across labs, papers, and developer communities, ranked by signal.
-
新框架实现大规模图拓扑深度学习的扩展
研究人员开发了Cluster-TNN,一个旨在提高大规模图拓扑深度学习可扩展性的新框架。传统的全域训练方法由于计算需求巨大,难以处理Reddit等海量数据集。Cluster-TNN通过划分图并动态采样节点簇来创建小批量,从而在这些批次中构建高阶拓扑结构,解决了这一问题。这种方法显著降低了GPU内存使用量(平均降低83.2%),同时保持了有竞争力的性能,使得在以前无法处理的数据集上训练复杂的拓扑神经网络成为可能。
-
深度学习应用于拓扑学研究,增强了可扩展性和数学问题解决能力
两篇新研究论文探讨了深度学习在拓扑学问题中的应用。第一篇《拓扑等价类的深度学习》(Deep Learning of Topological Equivalence Classes)展示了深度学习架构如何用于解决纯粹的数学问题,特别是识别黎曼曲面上拓扑等价的有限群作用。第二篇论文介绍了“Cluster-TNN”,一个旨在通过避免全域训练的计算瓶颈来提高拓扑深度学习可扩展性的框架。Cluster-TNN通过动态采样节点簇并重建诱导子图以形…
-
新方法通过高阶拓扑增强图表示学习
研究人员开发了一种新的图表示学习方法,该方法融入了高阶拓扑。这种方法通过位置编码丰富了具有拓扑信息的图表示,使得标准的图学习模型无需修改即可利用这种结构。所提出的方法使用从团复形派生的霍奇拉普拉斯算子,在 ZINC 和合成数据集等基准测试中显示出改进的预测性能。
-
用于分子电子结构的新型等变细胞层框架
研究人员引入了等变细胞层(ECS)作为预测分子电子结构的新型框架。该方法将层上同调与 E(3)-等变哈密顿量学习相结合,扩展了现有的等变消息传递网络。ECS 模型将分子哈密顿量表示为细胞层的拉普拉斯算子,使其能够捕获拓扑不变量和离域化信息。数值验证表明,该模型在电子性质预测任务上具有精确性、等变性和改进的泛化能力。
-
新工具TopoExplorer助力拓扑深度学习开发
研究人员推出了一种新颖的可视化技术TopoExplorer,旨在改进拓扑深度学习(TDL)方法的开发。该工具利用拓扑数据集的Hasse图形式,使实践者能够探索提升后数据的更高阶连通性和特征景观。通过提供与下游模型性能相关的量化指标,TopoExplorer旨在实现更原则性、可解释和高效的TDL预处理和模型开发。
-
新的NONTP方法增强了生成式推荐系统
研究人员开发了一种名为NONTP的新训练方法,以改进生成式推荐系统。该方法通过纳入时间局部性和空间局部性目标来解决下一词预测(NTP)的局限性。时间对比学习(TCL)对齐未来轨迹,而跨域学习(TDL)利用跨域上下文。这些在推理时没有额外开销的补充,在基准数据集的HR@10和NDCG@10等指标上显示出显著的改进,并在在线A/B测试中带来了1.8%的点击率(CTR)增长和2.1%的商品总值(GMV)增长。
-
范畴深度学习框架统一AI架构
一个名为范畴深度学习(Categorical Deep Learning, CDL)的新理论框架被提出,用于统一各种深度学习架构。该框架由Gavranović等人发表的论文详细介绍,利用范畴论为描述Transformer、RNN和CNN等模型提供了一种通用语言。CDL旨在弥合指定模型约束与其实现之间的差距,特别是通过函数式编程概念。该理论被呈现为深度学习不同子领域的高层概述,包括架构、优化和函数理论,而CDL侧重于架构方面。
-
HOPSE框架提高了高阶AI表示的可扩展性
研究人员开发了HOPSE,一个旨在增强拓扑深度学习可扩展性的新框架。该方法摒弃了传统的消息传递层,转而利用Hasse图分解来创建高阶交互的高效编码。HOPSE实现了组合表示大小的线性可扩展性,在分子和拓扑基准测试上达到了与现有方法相当或更优的性能,同时提供了显著的速度提升。