Set Transformer
PulseAugur coverage of Set Transformer — every cluster mentioning Set Transformer across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现：图变换器在MILP上的表现受限于1-WL测试
一篇新论文对用于混合整数线性规划（MILP）的全局注意力图变换器的表达能力进行了特征化。研究证明，包括Graphormer和Set Transformer等架构在内的这些模型受到一维Weisfeiler-Leman（1-WL）测试的限制。这意味着在1-WL测试下等价的MILP实例将从这些变换器接收相同的图嵌入，从而无法恢复某些图不变量。研究表明，超越1-WL的表达能力主要来自输入编码，而非注意力机制本身。
-
深度学习工具可快速评估飓风后电网损坏情况并安排修复
研究人员开发了一种两阶段深度学习工具，以加快对电网进行飓风后损坏评估和修复调度。第一阶段使用MLP、ResMLP和GraphSAGE等模型识别损坏的线路，第二阶段计算修复计划，比较MLP、DeepSets和Set Transformer。该流程线采用ResMLP-Set Transformer配置，实现了0.920的损坏作业F1分数，并在顺序一致性和时间准确性方面表现出色，为飓风响应提供了快速的决策支持。
-
新的MMD-Reg方法提供了可扩展、可微分的点云配准
研究人员推出了一种新的点云配准方法MMD-Reg，该方法既可微分又计算高效。该方法使用最大均值差异将配准建模为一个非线性最小二乘问题，并通过随机傅里叶特征进行近似。该方法的微分特性使其能够集成到端到端可训练的模型中，从而在初始对齐不良和部分重叠等具有挑战性的场景中提高性能。MMD-Reg已在监督和无监督环境中得到验证，其性能优于最近的基于学习的方法，并在准确性和可扩展性方面与传统的配准技术相当。
-
AI框架利用注意力机制识别物理对称性
研究人员开发了一个新颖的优化框架，该框架利用具有自注意力机制的Set-Transformer架构来识别物理模型中的对称性。这种基于机器学习的方法对Pauli-Strings之间的相关性进行编码，以提出候选对称性，然后使用定制的基于对易的客观函数进行优化。该方法在Ising模型和Toric code等物理哈密顿量上表现出高成功率，优于现有策略，并在随机Pauli哈密顿量的计算资源估算方面具有优势。
-
新的SAVER框架选择性地使用视觉证据进行多模态提取
研究人员开发了SAVER，一个旨在改进从社交媒体帖子中提取多模态信息的新框架。该系统选择性地利用附加图像中的视觉证据，而不是默认处理所有图像，以提高准确性和效率。SAVER采用了一个Conformal Groundability Gate来确定视觉数据的相关性，并使用一个子模态选择器来选择最相关的图像子集进行分析。实验表明，SAVER通过提高F1分数同时降低计算成本和延迟，优于仅文本和始终开启的多模态方法。