Sinkhorn
PulseAugur coverage of Sinkhorn — every cluster mentioning Sinkhorn across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新研究分析Sinkhorn估计量在最优传输势上的收敛性
研究人员开发了一种新方法来分析熵最优传输势的经验Sinkhorn估计量的统计收敛性。该研究为固定的正则化参数 \(\\varepsilon>0\) 建立了 \(n^{-1/2}\) 的非渐近统计速率，但指出该界限中的常数随 \(1/\varepsilon\) 指数增长。为解决此问题，该论文确定了允许估计量仅以 \(1/\varepsilon\) 的多项式依赖性保持 \(n^{-1/2}\) 速率的几何条件，这需要对总体Sinkhorn…
-
TorchMorph 为形态学变换带来 GPU 加速
TorchMorph 是一个新的 PyTorch 扩展，它将形态学变换带到 GPU 上，解决了现有仅 CPU 实现（如 SciPy）的局限性。它提供了 22 个 CUDA 加速算子，用于各种形态学类型和距离变换，支持多达八个空间维度。这带来了显著的性能提升，TorchMorph 在灰度形态学方面的吞吐量比 SciPy 高出 1100 倍，在距离变换方面高出 350 倍，同时保持了高精度。
-
TorchMorph 将 GPU 加速的形态学变换引入 PyTorch
TorchMorph 是一个新的 PyTorch 扩展，提供 GPU 加速的形态学和距离变换算子。它提供了 22 个算子，包括二值和灰度形态学，以及各种距离变换，这些算子都实现了为融合的 CUDA 内核。该库的设计旨在模仿 SciPy API，可以轻松集成到现有流程中，并提供比基于 CPU 的实现显著的速度提升。
-
新的 EMS Coreset 算法为机器学习提供高效数据子集选择
研究人员开发了 EMS Coreset，这是一种旨在更高效地为机器学习任务创建代表性数据集子集的新算法。该方法利用带有 Sinkhorn 正则化的期望最大化方法，允许非均匀的 coreset 权重，并提供广义的 k-means 聚类解决方案。与现有的 Wasserstein 和标准 Sinkhorn coreset 选择技术相比，该算法在近似质量和鲁棒性方面表现出竞争力，同时显著减少了计算时间，尤其是在处理大型数据集时。
-
揭示语言模型知识蒸馏的新分布视图
研究人员为语言模型的知识蒸馏（KD）引入了一种新的分布视角。该方法超越了对 token 分布的点对点比较，而是考虑了教师模型输出的多种温度视图。然后，学生模型针对这些视图的几何感知聚合进行训练，该聚合通过各种池化和聚合方法进行形式化，包括去偏的 Sinkhorn 散度。在指令微调模型上的实验表明，多温度聚合的收益取决于这些视图的离散度，而最优的 KD 损失函数则取决于教师模型和学生模型之间的性能差距。
-
新的 MESH 优化器提高了 MoE 训练效率，降低了内存使用
研究人员开发了 MESH，这是一种新颖的优化技术，旨在提高混合专家（MoE）模型训练的效率。传统的内存高效优化器（如 Sinkhorn）由于 MoE 架构的梯度具有条件性和可变性，因此在 MoE 架构上存在困难。MESH 引入了一种隐藏动量 Sinkhorn 更新，可保留时间一阶矩信号，与 AdamW 相比，优化器状态内存减少约 62.5%，峰值 PyTorch CUDA 分配减少约 12.6%，同时保持具有竞争力的评估损失。
-
新的最优传输框架统一冷启动主动学习方法
研究人员开发了一种新的冷启动主动学习框架，这是一种在没有先验知识的情况下选择有价值数据子集的方法。该方法利用最优传输理论来统一现有方法，并对涉及的权衡进行了理论分析。提出的算法 epsilon-Adaptive Selection (epsilon-AS) 使用数据自适应正则化规则，并在各种数据集上展示了最先进的性能，包括 ImageNet-1k，在该数据集上提高了准确性并减少了选择时间。
-
新的 TemporalSinkhorn 方法加速最优传输计算
研究人员开发了 TemporalSinkhorn，一种用于动态熵最优传输问题的新型并行时间执行方法，特别有利于 Flow Matching 等生成模型应用。该方法允许在不影响输出精度的情况下对未来候选及其修复进行批处理，并利用经过认证的安全前缀和打包更新来实现效率。在 A100 和 RTX 4060 GPU 上的基准测试表明，在某些配置下，时间执行比顺序方法快 1.15 倍至 1.47 倍，在 Flow Matching 小批量流上速…
-
MuViSeg 推动多视图分割匹配，改进导航
研究人员开发了 MuViSeg，这是一种用于匹配多个图像视图中的分割的新方法，改进了依赖于成对比较的现有方法。该系统集成了学习到的匹配头，包括一种类似 LightGlue 的注意力机制以及一种支持同时对来自多个图像的分割进行联合自注意力的多视图扩展。当集成到 RoboHop 拓扑导航管道中时，MuViSeg 表现出显著的改进，成功率从 50% 提高到 70%，SPL 指标从 45.7 提高到 59.1，而无需重新训练。
-
新的FuSiLi方法通过全局监督对齐多模态音乐数据
研究人员开发了FuSiLi（Fused Sinkhorn-Localized Similarity），一种新颖的多模态对比学习音乐方法。该方法仅使用全局监督，即可有效地学习音频和视觉表示之间的局部关系，例如将表演音频映射到乐谱位置。通过对预训练的CLIP和CLAP编码器进行微调，FuSiLi在帧级对齐任务中表现出色，并在跨模态检索中保持竞争力。
-
新的最优传输方法提高了准确性和可扩展性
研究人员推出了一种新颖的切片正则化最优传输（SROT）公式，该公式将传输计划正则化为平滑的切片最优传输计划，比熵最优传输提供了更准确的近似。一种新的Sinkhorn风格算法能够进行高效计算，并保持了可扩展性。在合成数据和颜色迁移任务上的实验表明，SROT在近似精确最优传输计划方面优于现有方法，并在梯度流分析中具有实用性。