InfoNCE
PulseAugur coverage of InfoNCE — every cluster mentioning InfoNCE across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的ComCLIP框架增强了VLMs的CLIP视觉编码器
研究人员提出了ComCLIP，一个用于精炼CLIP视觉编码器的新框架，该编码器是LLaVA等模型的基础。与之前的发现相反，他们证明了当对比温度设置得当时，对比预训练是有效的。ComCLIP冻结文本编码器，并使用有温度的对比损失、MSE锚定损失以及来自DINOv2的关系蒸馏。该方法在零样本分类上与现有基线相匹配，并提高了视觉特征的可迁移性，同时保持了与LLaVA的下游兼容性。
-
新指标gSAP通过考虑所有查询对来增强表示学习
研究人员引入了用于表示学习的全局平均精度（gSAP），这是一种新颖的可微分代理指标，旨在改进机器学习模型的训练。与单独评估查询的传统指标不同，gSAP同时考虑批次内的所有查询-候选对。这种整体方法允许在整个查询中进行更一致的相似性比较，即使使用单一决策阈值也是如此。该指标在监督度量学习、跨模态对齐和自监督预训练方面表现出改进，在各种基准测试中优于InfoNCE和其他AP代理等既有方法。
-
新的共享高斯化方法分析对比学习
研究人员引入了共享高斯化（SG），一种分析对比学习技术的新颖方法。SG对归一化数据视图进行高斯性检验，检测失配和不均匀性。研究表明，SG可以限制过度的InfoNCE损失，并深入了解SG和InfoNCE在存在干扰通道或有限批次大小情况下的不同目标。
-
新诊断工具OperatorCLIP探究神经PDE模型中的文本理解
研究人员开发了OperatorCLIP，以调查神经PDE代理中的文本条件是否真正反映了语义理解。使用Darcy2D、ShallowWater2D和CNS3D模型的实验表明，与未条件化模型相比，恒定条件化导致了较低的平均测试误差。然而，任务文本和对比度对齐对性能的影响不太清楚，在不同任务中结果不一，并且存在显著的种子不确定性。该研究强调了需要严格的通路控制来准确评估文本条件化模型的语义能力。
-
新的对比噪声对齐方法改进了生成流模型
研究人员推出了一种新颖的生成流模型训练方法——对比噪声对齐（CNA），该方法动态地将噪声表示与数据目标对齐。与使用固定噪声或最优传输的先前方法不同，CNA将噪声批次建模为相互作用的粒子系统，并采用跨模态InfoNCE目标。这种方法旨在降低学习到的传输的曲率并提高生成质量，与现有基线相比，在少步生成方面显著降低了FID分数。
-
新的MMFE系统统一了用于AI任务的各种二维室内表示
研究人员开发了多模态楼层平面图编码器（MMFE），一个旨在将CAD图纸、栅格图像和密度图等各种二维室内表示处理成统一的潜在网格的系统。这种方法旨在促进跨模态学习和以几何为中心的任务，如对齐和检索。MMFE利用一个冻结的DINOv3骨干网络和一个可训练的密集预测Transformer（DPT）头部，并使用InfoNCE目标进行训练，以对齐不同模态中的相应区域。该系统还通过特征网格变形和相似变换来整合几何一致性，以增强对失真的鲁棒性。
-
新的基准测试通过文本上下文处理多模态预测
两篇新研究论文探讨了多模态时间序列预测的复杂性，重点关注如何有效整合和评估文本上下文。第一篇论文介绍了 MUSE-Bench，这是一个包含十四个数据集和六种上下文类型的综合基准测试，旨在评估包括 LLM 在内的各种预测方法。研究发现，虽然数值模型占主导地位，但外部上下文如果对齐正确可以提高性能，而通用 LLM 作为直接预测器则表现不佳。第二篇论文通过开发一个基准测试来评估信息论度量，解决了确定文本注释是否真正有助于预测准确性的挑战。这…
-
AI研究揭示蒸馏瓶颈，标签感知方法提升性能
研究人员在Vision Transformer与小型CNN之间的知识蒸馏中发现了一个显著的几何瓶颈。标准的余弦蒸馏会导致学习到的表示坍缩到低维空间，而与CNN的参数数量无关。虽然一个辅助的InfoNCE目标可以扩展这种维度，但它却会使下游准确率降低15-18个百分点。然而，一种标签感知的监督对比蒸馏方法通过在保持或提高准确率的同时增加维度，显示出潜力，这表明维度扩展的效用取决于目标是否为标签感知。
-
新的无监督特征选择方法使用倒置对比学习
研究人员开发了一种名为倒置对比学习用于无监督特征选择（ICLFS）的新方法。该方法将无监督特征选择重新构建为表示学习问题，将每个特征视为一个实例。ICLFS 利用带有掩码正视图和打乱负视图的对比框架来学习一致的表示。特征的显著性由其在投影空间中的嵌入幅度决定，然后使用拉普拉斯门控排序校正进行细化，以识别信息量最大的特征。
-
Apple 的 REFACTOR-VLA 为机器人学习可复用技能
Apple 的 REFACTOR-VLA 系统通过“唤醒/睡眠”架构学习可复用技能，解决了当前视觉-语言-动作 (VLA) 模型存在的局限性。与输出原始命令的单一模型不同，REFACTOR-VLA 将行为组织成结构化程序，提高了长时任务的性能。该系统使用行为等价核和受 Hindley-Milner 启发的类型化 lambda 术语，研究结果表明，简单地增加模型大小不如优化训练目标有效，特别是通过添加辅助监督对比损失。
-
新的 SimLoss 方法实现了更快、更细粒度的图像字幕生成
研究人员开发了 SimLoss，一种新颖的单通道细粒度图像字幕生成方法，与多阶段系统相比显著降低了延迟。SimLoss 利用嵌入空间对比目标，特别是 InfoNCE 损失，将投影的隐藏状态表示与冻结的图像嵌入对齐。该方法在文本解码之前提供密集的视觉监督，无需人工编写或管道生成的细粒度字幕。SimLoss FFT 和 SimLoss GRPO 等变体展示了具有竞争力的精度和召回率，其中 SimLoss FFT 的推理速度比多阶段方法快约…
-
CAMIE框架通过多模态嵌入增强产品广告检索
研究人员开发了CAMIE，一种新颖的多模态项目嵌入框架，旨在改进动态产品广告系统中的检索。该框架利用大型语言和多模态模型，在统一的嵌入空间中表示项目图像和元数据。CAMIE在用户旅程中的共参与项目对上进行训练，在生产环境中部署时，点击率和转化率得到显著提高。
-
新的ARC-CT框架通过视觉语言学习增强3D胸部CT分析
研究人员开发了ARC-CT，一个新颖的对比视觉语言学习框架，专门用于3D胸部CT扫描和放射学报告。该方法通过关注局部异常并减少具有相似发现的扫描之间的假阴性，解决了标准对比学习的局限性。ARC-CT使用一个用于区域感知证据定位的AnatomyQFormer，一个考虑标签重叠的软InfoNCE目标，以及一个器官级对齐损失。该框架表现强劲，使用ResNet-18骨干网络在18种异常情况下实现了0.86的无掩码宏观AUC，优于更大的Tran…
-
新的 HN-CLIP 方法提高了密集字幕检索的准确性和训练速度
研究人员开发了 HN-CLIP，这是一种通过解决标准 InfoNCE 目标中的局限性来改进密集字幕检索的新方法。这种新方法使用文本编码器自身的几何结构为负样本构建自适应相似度边距，为更相似的字幕分配更大的边距，而无需额外数据或复杂处理。在四个基准上的实验表明，与现有的最先进方法相比，HN-CLIP 显著提高了检索准确性并加速了训练。
-
LLM-MGCL通过整合语义和地理数据增强POI推荐 · 已追踪2个来源
研究人员开发了一种名为LLM增强的多图对比学习（LLM-MGCL）的新方法，以改进兴趣点（POI）推荐，特别是解决了交互数据有限的物品的冷启动问题。该方法将源自LLM生成的摘要和关键词的语义信息，以及地理数据，整合到多图神经网络中。在Yelp多模态推荐数据集上的实验表明，与现有方法相比，召回率和NDCG分数有了显著提高，凸显了LLM衍生的知识在增强推荐系统方面的有效性。
-
新的TraVEL框架通过运动感知嵌入增强驾驶视频检索
研究人员开发了TraVEL，一个用于学习专门针对驾驶视频检索的视频嵌入的新框架。该方法使用配对剪辑和推理轨迹的监督微调，然后进行运动感知微调，来微调一个通用多模态嵌入模型Qwen3-VL-Embedding。TraVEL在策略优化框架内使用自我轨迹相似性作为奖励信号，以增强对运动中心事件的理解，在一个新的驾驶视频检索基准上显著优于标准微调。
-
STAR框架增强推荐系统中的PCVR预测 · 跟踪2个来源
研究人员开发了STAR，一个用于推荐系统中点击后转化率（PCVR）预测的框架。该框架解决了异构特征、用户序列和目标感知兴趣的挑战。STAR将结构化特征分词与目标感知兴趣表示相结合，并基于HyFormer风格的骨干网络。关键创新包括高基数信号恢复、显式用户-物品交互标记以及受InfoNCE启发的对比辅助目标。该系统还对齐了训练和推理流程，以确保鲁棒性。
-
新的STAR框架增强了推荐系统中PCVR的预测能力
研究人员开发了STAR，一个用于预测推荐系统中点击后转化率（PCVR）的框架。STAR通过结合结构化特征分词和目标感知兴趣表示，解决了异构特征、用户序列和稀疏数据等挑战。该框架包含高基数信号恢复、显式用户-物品交互标记以及对比辅助目标。在挑战数据集上的实验表明，时间上下文带来了显著的收益，而对比对齐和目标感知兴趣编码也做出了贡献。
-
AI模型使用腕部传感器进行帕金森病筛查
研究人员开发了一种新颖的注意力机制，可使用可穿戴传感器更准确、更高效地筛查帕金森病。该方法在arXiv论文中有所详述，处理来自腕戴式惯性测量单元（IMU）的数据，以区分健康个体、帕金森病患者以及患有类似疾病的人。该系统实现了高精度，尤其是在识别帕金森病方面，并且即使在标记数据有限的情况下也表现出接近饱和的性能，使其适合在Raspberry Pi 4等设备上进行实时边缘部署。
-
GeoUniPR框架统一视觉和激光雷达以实现高级地点识别 · 跟踪2个来源
研究人员开发了GeoUniPR，一个用于跨模态地点识别的新型框架，它统一了视觉和激光雷达数据。该方法将激光雷达点云投影到相机视角，以创建几何一致的深度图像视图（DIV），从而建立直接的RGB-LiDAR对应关系。通过用激光雷达强度和表面法线信息增强DIV，GeoUniPR使用基于ViT编码器的参数高效适配来学习统一的嵌入空间。该框架还引入了空间一致性InfoNCE（SC-InfoNCE）来通过抑制距离引起的假阴性来提高准确性。在KIT…