image
PulseAugur coverage of image — every cluster mentioning image across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的MARS方法利用文本拒绝指令增强多模态LLM安全性
研究人员开发了一种名为MARS（Modality-Agnostic Refusal Steering，跨模态无关拒绝引导）的新方法，以增强多模态大语言模型（MLLMs）的安全性。MARS利用通常用于单模态LLM的文本拒绝指令，在无需不安全的多模态训练数据的情况下提高安全性。该方法解决了跨模态对齐问题，并在保持效用的同时，在各种基准测试中持续展示了安全性的提升。
-
火山引擎发布豆包2.1 Pro，AI能力增强 · 跟踪1个来源
字节跳动的火山引擎发布了豆包大模型2.1，其Pro版本在编码、智能体技术和视觉语言模型方面具有增强的功能。该公司还宣布了新的视频、图像和音频模型，以及升级的智能体云服务系统。豆包预计将继续对普通用户免费，而用于生产力任务的专业版本将集成2.1 Pro模型。
-
新指标MultiMem量化多模态对比学习中的记忆现象
研究人员引入了MultiMem，这是一个量化多模态对比学习中记忆现象的新颖指标，该领域此前在这方面尚属未探索的领域。他们的分析表明，模态之间，特别是文本之间的语义不匹配是记忆现象的主要驱动因素。研究还表明，跨所有模态应用有针对性的增强可以有效减少记忆现象并提高模型性能。
-
推出免费浏览器工具，支持 PDF、图像、开发和 AI 任务
一位开发者推出了 brevio.pro 网站，提供 184 个免费的基于浏览器的工具，用于各种任务，包括 PDF 处理、图像转换和开发实用程序。这些工具直接在浏览器中运行，无需文件上传或用户注册，强调隐私和即时可用性。该集合涵盖 14 个类别，并包括与 AI 相关的任务功能，如 LLM 成本计算和 token 计数。
-
Microsoft 发布 MarkItDown 用于 LLM 数据转换
Microsoft 发布了 MarkItDown，一个 Python 工具，旨在将各种文件格式转换为 Markdown。Markdown 是一种令牌效率高且被大多数大型语言模型理解的格式。该工具旨在简化将来自 PDF、Word 文档、Excel 表格，甚至图像或 YouTube URL 等来源的数据输入 AI 流水线的流程。该工具支持可选的 OCR 和由 LLM 驱动的图像描述，为下游 AI 应用实现更丰富的数据提取。
-
新基准推动表格机器学习在不平衡、字符串和多模态数据方面的发展
研究人员推出了新的基准来推动表格机器学习。TILBench 解决了跨越不同数据特征的不平衡学习问题，并揭示没有一种单一方法是普遍优越的。STRABLE 解决了表格数据中包含字符串这一研究不足的领域，发现简单的字符串嵌入与先进的表格学习器配对在类别主导的表格上表现良好。MulTaBench 专注于多模态表格学习，评估表格信息之外的文本和图像数据，并强调了针对特定任务调整嵌入的好处。
-
新的Omni-Fake数据集对社交媒体上的多模态深度伪造检测进行基准测试
研究人员推出了Omni-Fake，这是一个新的基准数据集，旨在改进社交媒体上多模态深度伪造的检测。该数据集包含跨图像、音频、视频和音频-视频说话人脸模态的超过100万个样本，以及一个用于测试泛化能力的分布外基准。Omni-Fake还支持一个用于深度伪造的联合检测、定位和解释的协议，并引入了一个名为Omni-Fake-R1的基于强化学习的检测器，该检测器集成了跨模态线索，以获得更准确和可解释的结果。