PaliGemma 2
PulseAugur coverage of PaliGemma 2 — every cluster mentioning PaliGemma 2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的MMDiff框架增强了多模态大型语言模型的可控性和可解释性
研究人员开发了MMDiff，一个旨在增强多模态大型语言模型（MLLMs）的可解释性和可控性的新框架。该系统训练多模态稀疏自编码器（SAEs）来识别和分离多模态训练期间被改变的特定特征。MMDiff通过允许用户移除或引导这些发现的特征来实现目标控制，从而提高MLLMs的性能和安全性。
-
MMDiff框架增强多模态LLM的可解释性和控制力
研究人员开发了MMDiff，一个旨在增强多模态大型语言模型（MLLMs）可解释性和控制力的新框架。该系统利用多模态稀疏自编码器来分离、检测和操纵这些模型中的特定特征。MMDiff可以区分多模态训练修改的特征，识别特定任务的因果特征，并通过移除或引导这些发现的特征方向来实现目标控制。MMDiff应用于LLaVA-MORE、PaliGemma 2和InternVL3.5等模型，在提高空间推理和OCR任务的性能方面取得了成功，同时也降低了多…
-
Google 发布 PaliGemma 视觉模型用于微调
Google 发布了 PaliGemma 模型系列，这是一系列开源的视觉语言模型，专为微调而非通用聊天机器人使用而设计。这些模型结合了 Google 的 SigLIP 视觉编码器和 Gemma 语言解码器，有多种尺寸可供选择，参数量高达 270 亿。PaliGemma 针对单轮任务进行了优化，旨在通过微调适应特定应用，如视觉问答或光学字符识别，并可通过 Hugging Face Transformers 库进行集成。
-
新研究揭示视觉语言模型的隐私风险
新研究表明，多模态视觉语言模型（VLMs）容易受到隐私攻击，特别是成员推断攻击（MIAs），这些攻击可能泄露敏感的训练数据。一项研究提出了一种受神经启发的拓扑正则化框架，该框架在不显著影响模型效用的情况下，显著降低了BLIP、PaliGemma 2和ViT-GPT2等模型中MIAs的成功率。另一篇论文强调，像Gemma4和Fuyu这样的无编码器VLMs带来了独特的隐私风险，因为它们的架构允许中间视觉标记充当侧信道，从而能够恢复可识别的…
-
Crucible 作为扩散模型的开源本地数据集管理器发布
Crucible 是一款新的、开源的本地应用程序，专为管理扩散模型使用的数据集而设计。它完全在用户硬件上运行，避免了云依赖和订阅。该工具提供诸如使用本地机器学习模型进行批量字幕生成、图像质量和风格评分、机器学习放大以及通过快照进行数据集版本控制等功能。
-
阿里巴巴发布Qwen3.7-Plus多模态代理模型
阿里巴巴的Qwen团队发布了Qwen3.7-Plus，这是一款旨在整合视觉和语言能力以实现多功能代理任务的新型多模态代理模型。此次发布是Hugging Face所强调的更广泛趋势的一部分，该趋势展示了多个新的视觉-语言模型和技术。该平台展示了Google的PaliGemma 2、Microsoft的Florence-2和Meta的Idefics2等方面的进展，以及对这些模型进行对齐和优化的方法。