von Mises-Fisher distribution
PulseAugur coverage of von Mises-Fisher distribution — every cluster mentioning von Mises-Fisher distribution across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
New methods for certifying vMF-based model robustness against numerical errors will emerge
Given the research on state-dependent numerical accuracy standards and the demonstration of gradient mismatch in vMF learning, it's plausible that new methods will be developed to certify the robustness of vMF-based models against numerical errors. These methods would likely need to account for the specific learning state and the sensitive nature of the vMF concentration parameter.
vMF concentration parameter to be a key tunable hyperparameter in contrastive learning
The recent research highlights the crucial role of vMF concentration in contrastive learning, particularly in high-dimensional settings. This suggests that the concentration parameter could become a key tunable hyperparameter, allowing practitioners to explicitly control the similarity scale and decision boundaries of class representations, potentially leading to improved model performance on imbalanced datasets.
Gradient mismatch in vMF learning is a significant factor in optimization instability
The paper 'Same Loss, Different Gradients' explicitly demonstrates gradient mismatch in high-dimensional von Mises-Fisher learning. This observation suggests that the divergence between forward and backward passes in vMF-based models is not a theoretical edge case but a practical concern that could contribute to optimization instability and slower convergence in real-world applications.
-
个性化条件LLM改进电子商务搜索查询生成 · arXiv论文
一篇新的arXiv论文探讨了个性化条件合成查询生成在电子商务搜索中的有效性，特别是在冷启动场景下。研究人员使用六个LLM和九个个性化条件提示家族，在英国汽车模式上生成了超过118,000个合成查询对。研究发现，使用IPIP人格束可以提高解析器F1分数，而语法条件是使生成的查询与真实用户流量保持一致并增加词汇多样性的关键。该论文还引入了对齐sKL作为解析器F1的代理，并确定约束缺失是产生幻觉查询的主要原因，而带有语法的家族显示出更高的幻觉率。
-
新的ART-MPG模型通过自回归采样增强渲染路径引导
研究人员开发了ART-MPG，一种新颖的自回归神经网络模型，旨在改进渲染算法中的路径引导。该模型从冯·米塞斯-费舍尔分布的拓扑条件混合物中采样链长、反射/透射字符串和方向。通过将流形路径引导与基于链长和R/T字符串的重试采样相结合，ART-MPG旨在减少预期的重试次数和估计器方差。在十四个场景上的评估表明，在每像素采样数相同的情况下，ART-MPG始终优于现有的在线和离线渲染算法，具有更低的均方误差和标准差。
-
研究揭示可微学习中的梯度不匹配
一篇新研究论文“相同的损失，不同的梯度”（Same Loss, Different Gradients）发表在arXiv上，探讨了可微学习中的一个基本问题：目标函数的正向传播和反向传播提供给优化器的梯度可能不一致。这种不一致可能发生在利用有限特殊函数递归、自定义反向传播规则或数值裁剪的概率目标函数中。研究人员在高维von Mises-Fisher学习中展示了这种不匹配，表明相同的正向分数可能由于梯度不同而导致不同的优化轨迹。为解决此问…
-
新研究质疑机器学习中的数值精度标准
一篇新论文探讨了机器学习系统中数值近似的“准确性”概念，认为简单的误差幅度是不够的。研究提出，数值误差的影响应根据当前的学习状态和受影响的具体类别来评估，因为误差可能对损失、预测和梯度产生不成比例的不同后果。该研究引入了一个框架，用于认证依赖于状态的原始误差容差，并证明这些容差在不同的学习状态下可能存在显著差异，这表明数值精度应整合到学习目标本身中。
-
研究论文质疑对比学习中共享温度的假设
一篇新的研究论文探讨了概率对比学习中共享温度与角度尺度之间的关系，特别是在高维设置下。该研究使用 von Mises-Fisher (vMF) 概率分数，证明了共享温度并不一定意味着类别表示共享相似度尺度。该研究准确预测了在 CIFAR-LT 和 ImageNet-LT 等真实世界数据集上的决策边界和特征梯度的变化，表明 vMF 浓度在此领域中的决策和学习尺度中起着至关重要的作用。
-
新研究重新定义了人工智能学习中数值近似的充分性
一篇新论文探讨了学习系统中数值近似的“准确性”概念，认为简单的误差幅度是不够的。研究提出，误差的重要性与当前的学习状态相关联，并根据类别权重及其影响以不同的方式影响损失、预测和梯度。该研究建立了有限误差保证，将原始误差转化为可衡量的后果，并推导出了随学习状态和期望结果显著变化的认证数值容差，这表明数值近似的充分性应被整合到学习目标本身中。
-
人工智能预测3D打印牙科零件的最佳构建方向
研究人员开发了一种机器学习方法，用于预测使用选择性激光熔化（SLM）制造的牙科零件的最佳构建方向。通过对大约2400个患者特异性牙科零件进行模型训练，他们比较了包括经典SO(3)参数化和直接S2表示在内的各种旋转表示的有效性。研究发现，测试时增强显著提高了大多数表示的准确性，将平均角度误差降低了31-73%。虽然直接S2表示显示出有希望的结果，但性能最佳的表示被发现是骨干依赖的。
-
新的GLASS框架对齐图和语言以进行异常检测
研究人员开发了GLASS，一个用于图级别异常检测的新颖框架，它利用超球体上的图语言对齐来实现鲁棒的跨域可迁移性。该系统通过将图编码器与文本嵌入连接起来，使用多切片软余弦目标，创建了一个统一的表示空间。这种方法将图属性序列化为“图描述符提示”（GraphDP），充当域无关异常评分的文本桥梁。GLASS采用Matryoshka表示法实现多尺度一致性，并使用von Mises-Fisher核密度估计器进行球形多模态评分（SMS），以原则性地…
-
新的MARGIN框架增强了不平衡软件漏洞检测能力
研究人员推出了一种新颖的MARGIN框架，旨在提高软件漏洞检测能力，特别是针对频率和难度不平衡的数据集。MARGIN通过嵌入几何的视角重新解读这些挑战，提出不平衡会导致超球表示空间失真。该框架采用自适应边距度量学习和超球原型建模，以创建更具辨别力的漏洞表示，并根据分布结构动态调整正则化，以增强稳定性和泛化能力。
-
新方法使用热核熵分析流形
研究人员开发了一种名为热核熵剖面（heat-kernel entropy profiles）的新方法，用于分析紧致流形上的加权经验测度。该技术利用内在热流扩散加权原子，以跟踪不同尺度的不均匀性。由此产生的几何有效样本量（geometric effective sample size）会折扣附近或重复的粒子，同时与分离良好的粒子的标准有效样本量保持一致。在球体上的实验表明，这种剖面可以揭示传统仅基于权重的摘要所忽略的复杂粒子结构。
-
新的vMFProto框架增强了可解释AI分类
研究人员引入了vMFProto，一个新颖的可解释分类框架，该框架将类别建模为超球体上冯·米塞斯-费希尔（von Mises-Fisher）分量的混合。该方法通过允许每个原型学习其自身的集中度来捕捉特定部分的变异性，并利用熵最优传输进行结构化块到原型的分配。在CUB-200-2011、Stanford Dogs和Stanford Cars等基准数据集上使用冻结的DINO骨干网络进行的实验表明，vMFProto在保持具有竞争力的准确性的同…
-
新的变换器架构整合吸引子动力学以提升性能
研究人员推出了一种新颖的架构——受控动力学吸引子变换器（CDAT），它将变换器的自注意力机制与联想记忆框架相结合。CDAT 集成了混合 von Mises-Fisher (Mo-vMF) 注意力能量和 Hopfield 精炼能量，并通过受 CANN 启发的调制来增强生物学上合理的推理动力学。这种方法将吸引子风格的动力学与基于能量的注意力联系起来，并在图异常检测和分类任务中展示了最先进的性能。
-
新的超球面VAE使用球形柯西分布
研究人员提出了一种用于超球面潜在空间的新型变分自编码器方法，该方法利用了高效的球形柯西分布。这种方法为生成模型提供了稳健且可扩展的替代方案，特别适用于图像和分子序列数据。提出的spCauchy分布表现出重尾行为，并允许精确的可微分重参数化，在CPU和GPU上的稳定性和评估速度方面均优于现有的基于von Mises-Fisher的方法。
-
MSD-Score 指标在无参考情况下改进了图像字幕评估
研究人员开发了 MSD-Score，一种无需参考字幕即可评估图像字幕的新颖方法。该方法将图像块和文本标记嵌入建模为分布，从而能够更细致地评估语义差异。MSD-Score 在与人类判断的相关性方面达到了最先进水平，并为局部定位错误提供了透明的诊断。
-
研究人员提出球形流以改进分类数据采样
研究人员开发了一种新的方法，通过在球体而非欧几里得空间上操作来学习离散序列的生成模型。该方法利用 von Mises-Fisher 分布创建自然的噪声过程，并允许使用 ODE 和预测器-校正器采样技术。该方法在涉及数独和语言建模任务的实验中显示出显著的改进。