Sinkhorn
PulseAugur coverage of Sinkhorn — every cluster mentioning Sinkhorn across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
Sinkhorn divergence to be integrated into new active learning frameworks
Recent papers highlight the application of Sinkhorn divergence in low-budget active learning, particularly for medical imaging. This suggests a growing trend where Sinkhorn divergence will be a key component in future active learning frameworks designed for efficiency and effectiveness in data selection.
Sinkhorn-related methods are being applied to diverse AI problems beyond traditional transport
The recent cluster evidence shows Sinkhorn-related techniques, including entropic optimal transport and divergence, being applied to areas such as predicting disordered crystal structures, analyzing single-cell data, and active learning. This broad applicability suggests a significant expansion of Sinkhorn's utility in AI research.
GPU-accelerated Sinkhorn solvers to see wider adoption in large-scale simulations
The development of GPU-based solvers like FlashSinkhorn 2 for large-scale discrete entropic optimal transport problems indicates a move towards more efficient handling of massive datasets in simulations. We expect this trend to continue, with wider adoption of such accelerated solvers across various simulation domains.
-
新框架用有限数据增强医学图像分割
研究人员开发了DPIF，一种新颖的双通路交互框架，旨在改进医学图像分割，特别是在标注数据有限的情况下。该即插即用框架兼容各种分割网络，并利用跨视图解剖互补性来减少对大量标注的需求。DPIF采用Sinkhorn最优传输进行分布对齐，条件互信息进行双向知识迁移，以及持久同调进行拓扑正则化。实验表明，DPIF增强的模型显著优于单视图基线，在数据量大大减少的情况下取得了可比的性能。
-
新算法简化概率测度数据集的分析
研究人员开发了 LOT Wassmap，这是一种旨在有效揭示 Wasserstein 空间内低维结构的新算法。该方法特别适用于那些最好被解释为概率测度而非标准 n 维空间中的点的***数据集。通过采用 Sinkhorn 距离和线性化最优传输等近似方案，与需要计算成对 Wasserstein 距离矩阵的传统算法相比，LOT Wassmap 显著降低了计算成本。该算法还为嵌入质量提供了保证，即使在处理有限样本或概率测度没有明确描述的情况下也是如此。
-
研究发现 Sinkhorn 注意力可保持 Transformer 的秩衰减
研究人员分析了 Sinkhorn 算法在 Transformer 架构中应用于双随机注意力的效果，发现与标准的行随机注意力相比，它能更有效地保持秩。该研究包括理论界限和在情感分析及图像分类任务上的实证验证，表明跳跃连接对于缓解秩崩溃至关重要，秩崩溃是指随着网络深度的增加，token 表示变得越来越均匀。研究表明，在使用 Sinkhorn 归一化时，秩会随着深度的增加呈双指数衰减，这与标准 softmax 注意力的发现类似。
-
新Pheno-GS方法加速大规模单细胞数据分析
研究人员开发了Pheno-GS，一种用于计算表型组尺度测地线传输距离的新方法。该方法通过嵌入患者数据集并计算它们之间的距离，解决了理解大规模单细胞数据中患者层面异质性的挑战。Pheno-GS利用图连通性正则化、非平衡最优传输公式和批量矩阵算法，实现了准确且可扩展的结果，据报道，对于大量分布，其速度比以前的方法快200多倍。
-
新AI框架可在无位点标注的情况下预测无序晶体结构
研究人员开发了EP-Flow，一种预测无序晶体结构的新型框架。该方法利用占用分布矩阵（ODM）来表示连续的位点-物种无序性，克服了现有生成器需要位点级别标注或假设确定性占用的局限性。EP-Flow采用边际约束流匹配方法来学习无序模式并生成占用、分数坐标和晶格参数，在无序晶体结构预测基准测试中取得了最先进的性能。
-
熵最优传输应用于大规模模拟和主动学习
两篇新研究论文探讨了熵最优传输（EOT）和Sinkhorn散度在不同AI场景中的应用。第一篇论文介绍了FlashSinkhorn 2 (FS2)，一个基于GPU的大规模离散EOT问题求解器，能够处理来自模拟的海量数据集。第二篇论文利用Sinkhorn散度进行低预算主动学习，证明了其在为模型训练选择关键数据点方面的有效性，特别是在医学成像等领域。
-
新研究推进薛定谔桥以改进AI传输学习 · 跟踪2个来源
两篇新研究论文介绍了薛定谔桥技术的进展，这是一种用于学习分布之间随机传输的技术。第一篇论文《图上的成本增强薛定谔桥可精确求解》提出了一种通过用Feynman-Kac倾斜取代学习控制来简化过程的方法，能够进行精确计算，并在蛋白质折叠模型中显示出潜力。第二篇论文《分布鲁棒薛定谔桥》介绍了一种通过学习一个考虑不确定性的单一控制器来提高对初始分布变化的鲁棒性的方法，在图像到图像翻译和传输任务中表现优于标准方法。
-
新研究通过加速算法推进偏最优传输
两篇新研究论文探讨了偏最优传输（POT）的进展，POT 是一种放宽严格质量守恒约束以实现更广泛应用的方法。第一篇论文介绍了一种使用稀疏和结构化正则化器（如弹性网络）的加速一阶算法，在颜色迁移、域适应和点云配准方面表现出改进的性能。第二篇论文将偏识别问题构建为多边熵最优传输问题，可通过 Sinkhorn 迭代解决，为模型参数无法唯一识别的统计场景提供了一种统一的方法。
-
生成克隆策略在处理多模态专家行为时遇到困难
研究人员调查了当专家行为是多模态的时，生成行为克隆所面临的挑战，这意味着单一观察可能导致多种有效行为。他们的工作揭示了潜在变量策略需要在其潜在表示中进行条件动作信息，以保留不同的模式，而过度的正则化会阻碍这一点。对于动作空间生成策略，多模态受到传输函数平滑度的限制，需要急剧的过渡或特定的桥接区域来覆盖多种模式。在合成和物理机器人任务上的实验证明了这些原理，尽管标准的机器人模拟基准显示出有限的条件多模态，而确定性回归通常表现具有竞争力。
-
新的因果神经集过滤方法增强了多目标跟踪
研究人员开发了一种名为因果神经集过滤（CNSF）的新方法，用于在线多目标跟踪。该方法通过仅编码当前测量值并将过去证据存储在结构化的递归状态中来改进现有的基于Transformer的跟踪器，从而减少了冗余计算。CNSF集成了独占的Sinkhorn关联、具有矩匹配的Kalman形状更新以及循环伯努利生命周期建模。在模拟中，与Track-MT3方法相比，CNSF在准确性和速度方面均显示出显著的改进，同时所需的参数也更少。
-
新的 Sinkhorn 注意力方法优化 TPU 上的长上下文处理
研究人员开发了一种新颖的注意力机制，称为块状可微分 Sinkhorn 注意力（Block-Wise Differentiable Sinkhorn Attention），旨在高效处理张量处理单元（TPU）上的长上下文。该方法使用尾部精炼代理（tail-refinement surrogate）来实现精确微分，优化了注意力计算的计算成本。该方法已在 TPU v6e-8 硬件上进行了测试，在合成任务上展示了改进的性能，并在 Pfam 数据…
-
新研究分析Sinkhorn估计量在最优传输势上的收敛性
研究人员开发了一种新方法来分析熵最优传输势的经验Sinkhorn估计量的统计收敛性。该研究为固定的正则化参数 \(\\varepsilon>0\) 建立了 \(n^{-1/2}\) 的非渐近统计速率，但指出该界限中的常数随 \(1/\varepsilon\) 指数增长。为解决此问题，该论文确定了允许估计量仅以 \(1/\varepsilon\) 的多项式依赖性保持 \(n^{-1/2}\) 速率的几何条件，这需要对总体Sinkhorn…
-
TorchMorph 为形态学变换带来 GPU 加速
TorchMorph 是一个新的 PyTorch 扩展，它将形态学变换带到 GPU 上，解决了现有仅 CPU 实现（如 SciPy）的局限性。它提供了 22 个 CUDA 加速算子，用于各种形态学类型和距离变换，支持多达八个空间维度。这带来了显著的性能提升，TorchMorph 在灰度形态学方面的吞吐量比 SciPy 高出 1100 倍，在距离变换方面高出 350 倍，同时保持了高精度。
-
TorchMorph 将 GPU 加速的形态学变换引入 PyTorch
TorchMorph 是一个新的 PyTorch 扩展，提供 GPU 加速的形态学和距离变换算子。它提供了 22 个算子，包括二值和灰度形态学，以及各种距离变换，这些算子都实现了为融合的 CUDA 内核。该库的设计旨在模仿 SciPy API，可以轻松集成到现有流程中，并提供比基于 CPU 的实现显著的速度提升。
-
新的 EMS Coreset 算法为机器学习提供高效数据子集选择
研究人员开发了 EMS Coreset，这是一种旨在更高效地为机器学习任务创建代表性数据集子集的新算法。该方法利用带有 Sinkhorn 正则化的期望最大化方法，允许非均匀的 coreset 权重，并提供广义的 k-means 聚类解决方案。与现有的 Wasserstein 和标准 Sinkhorn coreset 选择技术相比，该算法在近似质量和鲁棒性方面表现出竞争力，同时显著减少了计算时间，尤其是在处理大型数据集时。
-
揭示语言模型知识蒸馏的新分布视图
研究人员为语言模型的知识蒸馏（KD）引入了一种新的分布视角。该方法超越了对 token 分布的点对点比较，而是考虑了教师模型输出的多种温度视图。然后，学生模型针对这些视图的几何感知聚合进行训练，该聚合通过各种池化和聚合方法进行形式化，包括去偏的 Sinkhorn 散度。在指令微调模型上的实验表明，多温度聚合的收益取决于这些视图的离散度，而最优的 KD 损失函数则取决于教师模型和学生模型之间的性能差距。
-
新的 MESH 优化器提高了 MoE 训练效率，降低了内存使用
研究人员开发了 MESH，这是一种新颖的优化技术，旨在提高混合专家（MoE）模型训练的效率。传统的内存高效优化器（如 Sinkhorn）由于 MoE 架构的梯度具有条件性和可变性，因此在 MoE 架构上存在困难。MESH 引入了一种隐藏动量 Sinkhorn 更新，可保留时间一阶矩信号，与 AdamW 相比，优化器状态内存减少约 62.5%，峰值 PyTorch CUDA 分配减少约 12.6%，同时保持具有竞争力的评估损失。
-
新的最优传输框架统一冷启动主动学习方法
研究人员开发了一种新的冷启动主动学习框架，这是一种在没有先验知识的情况下选择有价值数据子集的方法。该方法利用最优传输理论来统一现有方法，并对涉及的权衡进行了理论分析。提出的算法 epsilon-Adaptive Selection (epsilon-AS) 使用数据自适应正则化规则，并在各种数据集上展示了最先进的性能，包括 ImageNet-1k，在该数据集上提高了准确性并减少了选择时间。
-
新的 TemporalSinkhorn 方法加速最优传输计算
研究人员开发了 TemporalSinkhorn，一种用于动态熵最优传输问题的新型并行时间执行方法，特别有利于 Flow Matching 等生成模型应用。该方法允许在不影响输出精度的情况下对未来候选及其修复进行批处理，并利用经过认证的安全前缀和打包更新来实现效率。在 A100 和 RTX 4060 GPU 上的基准测试表明，在某些配置下，时间执行比顺序方法快 1.15 倍至 1.47 倍，在 Flow Matching 小批量流上速…
-
MuViSeg 推动多视图分割匹配，改进导航
研究人员开发了 MuViSeg，这是一种用于匹配多个图像视图中的分割的新方法，改进了依赖于成对比较的现有方法。该系统集成了学习到的匹配头，包括一种类似 LightGlue 的注意力机制以及一种支持同时对来自多个图像的分割进行联合自注意力的多视图扩展。当集成到 RoboHop 拓扑导航管道中时，MuViSeg 表现出显著的改进，成功率从 50% 提高到 70%，SPL 指标从 45.7 提高到 59.1，而无需重新训练。