Mscoco
PulseAugur coverage of Mscoco — every cluster mentioning Mscoco across labs, papers, and developer communities, ranked by signal.
-
新的FAST-GOAL方法增强了视觉语言模型处理详细文本的能力
研究人员开发了FAST-GOAL，这是一种高效的微调方法，旨在提高CLIP等视觉语言模型处理冗长详细文本描述的能力。该方法包含两个主要组件：用于将特定图像区域与文本对齐的快速局部图像-句子匹配（FLISM），以及用于增强斑块标记与其对应嵌入的相似性的标记相似性学习（TSL）。这种方法以及新的GLIT100k数据集，在处理长标题的同时保持计算效率方面取得了显著的改进。
-
Google DeepMind 发布 Gemini Embedding 2 多模态模型
Google DeepMind 推出了 Gemini Embedding 2，一个新生的原生多模态嵌入模型。该模型能够为视频、音频、图像和文本数据生成统一的表示，在各种专业领域展现出强大的零样本能力。它在关键的嵌入基准测试中取得了最先进的性能，包括多模态检索任务，并可用于 RAG、推荐系统和搜索等下游应用。
-
研究人员揭示利用扩散模型和风格特征对AI模型进行新的隐蔽后门攻击
研究人员开发了针对先进AI模型的新型后门攻击方法，特别针对视觉语言模型（VLMs）和扩散模型（DMs）。一种方法CBV利用扩散模型通过微妙地改变图像生成过程并在语义重要区域集中修改，为VLMs创建外观自然的受污染样本。另一种方法Gungnir利用图像内的风格特征作为扩散模型的隐蔽触发器，使攻击更难被检测和绕过现有防御。
-
研究人员发现单个中心文本利用了CLIP跨模态编码器的漏洞
研究人员发现了一个跨模态编码器（如CLIP）的漏洞，该编码器将文本和图像映射到共享的嵌入空间。他们发现，单个“中心文本”可以与许多不相关的图像生成高相似度分数，从而破坏图像字幕和检索等任务的评估指标。这一发现凸显了高维数据中中心性问题带来的实际安全威胁。