PulseAugur
中
实时 18:25:14
实体 MLLMs

MLLMs

PulseAugur coverage of MLLMs — every cluster mentioning MLLMs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
93
90 天内 411
发布 · 30天
0
90 天内 0
论文 · 30天
93
90 天内 409
层级分布 · 90 天
主题
关系
时间线
  1. 2026-11-18 research_milestone A new benchmark and model demonstrate advancements in MLLM spatial simulation capabilities. 来源
  2. 2026-05-22 research_milestone A new pipeline was introduced to enhance MLLMs for safety-critical driving video analysis. 来源
  3. 2026-05-22 research_milestone Researchers reveal and propose a method to recover temporal grounding in multimodal large language models. 来源
  4. 2026-05-22 research_milestone A new benchmark and dataset were introduced to evaluate MLLMs' ability to reason about personality beyond superficial cues. 来源
  5. 2026-05-21 research_milestone A new method using MLLMs for detecting AI-generated Chinese poetry achieves state-of-the-art results. 来源
情绪 · 30 天

19 天有情绪数据

最近 · 第 1/10 页 · 共 200 条
  1. TOOL · CL_366510 ·

    撤回的论文揭示了MLLMs中基于场景的安全缺陷

    一篇已被撤回的研究论文探讨了多模态大语言模型(MLLMs)的一种新型漏洞,即仅凭与任务相关的场景语义就可能使模型从拒绝转变为合规。该研究引入了SceneSafetyBench,用于测试八个风险类别和九个MLLMs中基于场景的视觉安全漏洞。提出的场景语义攻击(SGA)方法实现了86.17%的平均攻击成功率,突显了场景语义是一个被忽视的攻击面,以及视觉基础与多模态安全之间的张力。

  2. TOOL · CL_366081 ·

    研究发现多模态大语言模型在物理运动学图表评分方面存在困难

    一项新的研究论文探讨了多模态大语言模型(MLLMs)在用作物理运动学练习评分助手时所存在的局限性。研究发现,虽然MLLMs能够识别图表的一些特征,但它们经常错误地评分,即使是对于严重失真的图表也是如此。该论文强调了MLLMs在处理数值截止和坐标约定方面存在的问题,并建议其评分结果在未经教师审查的情况下不应被视为最终结果。

  3. TOOL · CL_364406 ·

    新的TIVS框架绘制多模态大语言模型中的视觉令牌敏感度

    研究人员开发了TIVS框架,用于分析转换如何影响多模态大语言模型(MLLMs)中的视觉令牌。研究发现,虽然序列置换对准确性的影响很小,但数值替换会显著降低性能。这项研究通过理解视觉令牌的敏感度,为设计更鲁棒的多模态接口提供了见解。

  4. RESEARCH · CL_364378 ·

    新研究通过令牌高效和跨视图方法推进视觉基础

    两篇新研究论文介绍了视觉基础的新方法,这项任务涉及根据文本描述识别图像中的特定对象或区域。第一篇论文“SemGeo”提出了一个令牌高效的框架,该框架为每个实例使用单个网格令牌进行粗略定位,然后使用几何解码器并行精确恢复坐标。该方法在多个基准测试中取得了最先进的结果,并提高了生成吞吐量。第二篇论文“Grounding Across Views”通过开发一个视图感知框架来解决跨视图对象地理定位问题,该框架构建以目标为中心的证据和区分性的跨…

  5. TOOL · CL_364364 ·

    新的PURE基准测试MLLM的多模态身份匹配能力

    一个名为PURE的新基准已被开发出来,用于评估多模态大语言模型(MLLM)在身份匹配任务上的表现,特别是在电子商务领域。PURE在14个任务和1,457个问题中评估了四个关键能力:感知(Perception)、理解(Understanding)、推理(Reasoning)和证据支持的判断(Evidence-grounded Judgment)。对十个近期MLLM的初步测试显示,得分范围从47.1%到86.0%,模型在理解任务上的表现普…

  6. TOOL · CL_364358 ·

    新的SARVIA方法可将MLLM适配于地球观测任务

    研究人员开发了SARVIA,一种用于将多模态大语言模型(MLLM)适配于合成孔径雷达(SAR)地球观测任务的新颖方法。该方法通过利用MLLM中已有的视觉编码器,绕过了对大量昂贵的SAR预训练的需求。SARVIA使用一种自监督学习技术,配合具有可计算答案的视觉问题,仅需极少的适配步骤和计算资源。与传统的基模型相比,SARVIA适配的视觉编码器在SAR检测和分割基准测试中表现出更优越的性能,显著降低了训练成本。

  7. TOOL · CL_364153 ·

    新基准揭示多模态大语言模型在空间模拟方面存在困难,SpatialWalker 展现改进

    研究人员推出了 MentalGrid,这是一个旨在评估多模态大语言模型(MLLMs)空间模拟能力的新基准。当前模型在没有视觉反馈的情况下模拟不断变化的空间状态方面存在显著缺陷,随着复杂性的增加,它们在感知限制和多步推理方面都面临困难。为解决此问题,开发了一个三阶段课程学习框架,并由此产生了 SpatialWalker 模型。该模型在空间模拟任务上比其基础模型提高了 33.8%,在这些任务上优于 Gemini 3 Flash 等专有模型…

  8. RESEARCH · CL_366427 ·

    新型WM^MLLM模型使用多模态大语言模型实现持久、可编辑的世界生成

    研究人员推出WM^MLLM,这是一种新颖的交互式世界模型,它利用多模态大语言模型(MLLMs)从单个图像创建持久且可编辑的世界生成。与以往在编辑漂移和重访方面存在困难的视频世界模型不同,WM^MLLM将世界状态作为带有修订历史的全景图存储在外部。这使得多模态大语言模型能够管理操作、选择编辑位置并验证更改,从而确保像素级精确重访和受控的局部编辑。该模型在MBench-A和CompBench等基准测试中表现出色,在环境恢复和编辑完成方面显…

  9. TOOL · CL_363455 ·

    新框架通过优化视觉和文本数据集成来增强MLLMs

    研究人员推出了一种名为超越Token堆叠(BTS)的新框架,旨在增强多模态大语言模型(MLLMs)。当前的MLLMs要么连接视觉和文本Token,导致计算成本高昂,要么将视觉知识注入模型的内部网络,可能丢失图像特定信息。BTS通过一种多尺度视觉调制(MVM)机制解决了这些问题,该机制在不增加Token长度的情况下集成多尺度视觉数据。此外,一个自适应融合特征校准(AFC)模块通过校准FFN层中的视觉注入来稳定多模态融合,从而保留语言理解能力。

  10. TOOL · CL_360152 ·

    新的Vision-as-a-Tool范式增强了多模态代理编码

    研究人员推出了一种新范式Vision-as-a-Tool (VaaT),它将多模态大语言模型 (MLLMs) 重塑为可调用的外部工具,用于代理编码。这种方法允许纯文本代理卸载视觉推理,并使具备视觉能力的代理能够按需增强其原生感知能力,克服了内在视觉能力的局限性。VaaT范式已在VHarness框架中实现,该框架在图像到HTML、图像到SVG和图像到3D生成任务上进行了评估,证明了纯文本和多模态编码代理在视觉保真度和几何精度方面的提升。

  11. TOOL · CL_357832 ·

    新的人类视觉感知基准HumanSightBench揭示MLLM在视觉感知方面存在困难

    一个新基准HumanSightBench已被开发出来,用于评估多模态大型语言模型(MLLM)的视觉感知能力。该基准包含2,876个视觉问题,这些问题对人类来说很容易,但对模型来说却很有挑战性,并且经过了五个纳入门槛的筛选,以尽量减少歧义和捷径等混淆因素。初步评估显示,即使是表现最好的MLLM在计数等任务上也表现困难,得分低于27.5%,这凸显了与人类感知相比,它们在视觉理解方面存在显著差距。

  12. TOOL · CL_357773 ·

    MLLMs 在 AI 验证任务中表现出一致性偏差,提出新的 SGV 方法

    研究人员发现,多模态大语言模型(MLLMs)在用作 AI 代理行为的验证器时存在一个重大局限性,他们称之为“一致性偏差”。这种偏差导致 MLLMs 过度验证代理的行为,即使在没有明确成功标准(如计算机使用或机器人技术)的复杂领域也是如此。为解决此问题,开发了一种名为自接地验证(SGV)的新方法,该方法利用 MLLM 的自身能力,首先生成广泛的行为先验,然后利用这些先验来判断候选代理轨迹。SGV 在故障检测和准确性方面显示出显著的改进,…

  13. TOOL · CL_357691 ·

    新基准揭示文本感知图像超分辨率模型中的推理差距

    研究人员开发了新的方法来评估和改进文本感知图像超分辨率(TAISR)模型,该模型旨在恢复高分辨率图像同时保留文本。现有的TAISR模型在处理需要超越视觉线索的推理的严重退化文本时遇到困难。为解决此问题,创建了一个名为ReasonText的新基准来识别需要推理的文本,以及一个名为Ground-Truth Text-Crop Accuracy(GTTCA)的指标来准确衡量文本恢复质量。实验表明,当前TAISR模型在处理需要推理的文本时性能…

  14. RESEARCH · CL_357589 ·

    新基准显示 MLLMs 在自动驾驶场景中表现不佳 · 跟踪 2 个来源

    研究人员开发了两个新基准 MVDriveBench 和 DashBench,以评估多模态大语言模型 (MLLMs) 和视频大语言模型在理解和推理复杂驾驶场景方面的能力。MVDriveBench 侧重于自动驾驶的环视视频分析,而 DashBench 则专门针对罕见且具有安全关键性的“边缘案例”。两个基准都显示,当前的 MLLMs 和视频大语言模型在准确解读驾驶情况方面存在显著局限性,经常误判事件或虚构细节,这凸显了它们在自动驾驶系统应用…

  15. RESEARCH · CL_356724 ·

    MLLM的视觉编码器可选项,但需要专用的视觉能力

    来自Meta FAIR和纽约大学的研究人员对多模态语言模型(MLLMs)如何处理视觉输入进行了广泛研究。他们的研究结果表明,虽然不需要单独的、预训练的视觉编码器,但模型内部专用的视觉能力对于视觉理解至关重要。研究表明,在模型的早期架构中集成仅视觉参数,即使在融合层内,其性能也与传统的预融合编码器相当,并且可以提高效率。

  16. TOOL · CL_352385 ·

    新框架利用大语言模型改进囊性肺病诊断

    研究人员开发了 DCLDs-EIR,一个旨在改进弥漫性囊性肺病 (DCLDs) 诊断的新型框架。该系统利用多模态大语言模型 (MLLMs) 集成影像和临床数据,解决了体积感知和证据关联方面的局限性。DCLDs-EIR 通过获取和验证多模态证据(包括预测的肺部分割和轴向 CT 检查)来迭代地完善诊断假设,并由疾病特定知识图谱指导。评估表明,DCLDs-EIR 通过明确关联假设、观察和知识,提高了诊断准确性并提供了可追溯的鉴别诊断。

  17. TOOL · CL_351977 ·

    多模态大语言模型被测试为可解释人工智能评估中的人类代理

    研究人员探索了使用多模态大语言模型(MLLMs)作为可解释人工智能(XAI)领域人类评估的替代方案。开发了一个新的框架来衡量MLLMs和人类的解释效用,旨在降低XAI评估的成本并提高其可扩展性。对十四个流行MLLMs进行的实证测试表明,来自OpenAI和Qwen的模型表现出更高的对齐度,表明它们在XAI研究中作为人类测试的可靠代理具有潜力。

  18. TOOL · CL_348724 ·

    新的 OpenView 系统提升了 MLLMs 的视域外图像理解能力

    研究人员推出 OpenView,一个旨在增强多模态大语言模型(MLLMs)理解图像可见帧之外内容的能力的新型流水线,这种能力被称为视域外(OOV)推理。该系统包含一个四阶段流水线,利用全景图像生成多样化的多项选择视觉问答(VQA)数据。这种方法,结合精心策划的 OpenView-Dataset 和 OpenView-Bench 基准测试,旨在提高 MLLMs 在 OOV VQA 任务上的表现。实验表明,使用 OpenView 微调的 …

  19. TOOL · CL_348711 ·

    新基准测试评估AI从视频生成动画网页的能力

    研究人员推出了AnimWeb-Bench,这是一个旨在评估多模态大语言模型(MLLMs)和编码代理从视频输入生成动画网页能力的新基准测试。该基准测试包含来自不同领域的124个真实网页,每个网页都配有参考视频和静态资源。AnimWeb-Bench采用二维评估协议,评估静态外观保真度和动画保真度,跟踪跨帧的UI组件。对14个MLLM和三个编码代理的初步评估表明,复制网页动画比静态外观更具挑战性,并且明确的帧检查有助于编码代理提高重建质量。

  20. TOOL · CL_348671 ·

    V-STORM数据集增强MLLM时空视频推理能力

    研究人员推出了一种名为V-STORM的新型框架,旨在增强多模态大语言模型(MLLMs)的时空推理能力。该框架将视频转换为时空场景图(STSGs),并从经过验证的证据路径中提取基础思维链(GCoT)注释,使每个推理步骤都可追溯。使用此方法构建了一个包含260,000个样本的数据集和一个3,000个样本的基准测试,结果表明,尽管当前的MLLMs能够识别相关的时空线索,但它们在将这些线索整合到多步推理中时存在困难。使用V-STORM进行微调…