Mohammad Mohaiminul Islam

Platonic Transformers 在不增加额外成本的情况下集成几何对称性

研究人员开发了一种名为 Platonic Transformer 的新 Transformer 架构，旨在整合对科学和计算机视觉任务至关重要的几何对称性。这种新颖的方法将注意力机制与柏拉图固体对称群相结合，实现了原则性的权重共享，从而保持了标准 Transformer 的效率。Platonic Transformer 通过利用这些几何约束而不产生额外的计算成本，在包括图像分类、3D 点云分析和分子性质预测在内的各种基准测试中取得了有竞争力的性能。