PulseAugur
中
实时 21:16:13
实体 Large Multimodal Models

Large Multimodal Models

PulseAugur coverage of Large Multimodal Models — every cluster mentioning Large Multimodal Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
6
90 天内 49
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 48
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/3 页 · 共 53 条
  1. TOOL · CL_366499 ·

    Quicksviewer LMM通过Gumbel Softmax实现45倍视频压缩

    研究人员推出Quicksviewer,这是一种新颖的大型多模态模型(LMM),旨在实现更高效的视频理解。Quicksviewer采用独特的感知范式,使用Gumbel Softmax将视频划分为不同的立方体,然后对每个立方体进行统一的重采样。该方法通过根据帧差动态在线压缩视频内容,实现了显著的45倍压缩率,从而降低了时空复杂度,并能够使用大的感受野进行高效训练。与具有相似参数的当代LMM相比,该模型表现出更低的训练损失和更高的基准准确性…

  2. TOOL · CL_317554 ·

    新的微调方法教会大型多模态模型新技能且不遗忘

    研究人员开发了新颖的方法来微调大型多模态模型(LMM),使其能够获得新技能而不会损害现有能力。通过分析输出令牌分布并识别“计数偏差”,他们发现仅选择性地更新自注意力投影层或MLP Gate&Up组件,可以显著减少先前学习任务上的性能损失。这些选择性微调方法在LLaVA-OneVision、LLaVA-NeXT和Qwen2.5-VL模型上进行了演示,在学习-稳定性权衡方面优于传统的全模型微调以及LwF、LoRA和WiSE-FT等其他遗忘缓解技术。

  3. TOOL · CL_313056 ·

    新的 ROAR 基准测试在实时多人游戏中测试 LMM 智能体

    研究人员推出 ROAR,这是一个新的基准测试,旨在评估大型多模态模型 (LMM) 在实时、多人动作射击游戏环境中的智能体表现。与之前的回合制基准测试不同,ROAR 解决了动态环境的挑战,在这种环境中,必须在决策过时之前迅速做出决定。该系统利用多智能体异步 Gym 接口,允许环境和智能体在单独的线程中运行,从而实现异步进展和独立推理。ROAR 旨在推动基于 LMM 的智能体超越静态评估,实现更现实、实时的多智能体决策。

  4. TOOL · CL_309780 ·

    新的 ROAR 基准测试在实时多人游戏中测试 LMM 智能体

    研究人员推出 ROAR,这是一个新的基准测试,旨在评估大型多模态模型 (LMM) 在实时、多人动作射击游戏环境中的智能体能力。与现有的回合制基准测试不同,ROAR 通过允许游戏环境独立于智能体推理时间而演变,解决了实时约束的关键挑战。该系统利用多智能体异步 Gym 接口在单独的线程中运行智能体和环境,从而实现持续进展和独立推理,而不会阻塞其他智能体。ROAR 支持多种场景,包括合作、竞争和混合模式,旨在推动基于 LMM 的智能体实现更…

  5. TOOL · CL_301315 ·

    CORE框架使用LMM进行工业环境中的异常合成

    研究人员开发了CORE,一个利用大型多模态模型(LMM)在工业环境中进行无训练异常合成的新框架。该方法通过一种提示优化技术解决了异常样本稀缺的问题,该技术将异常生成与保留正常区域分离开来。CORE通过自监督的对比与反思机制来优化提示,使LMM能够在零样本和单样本场景下生成逼真的异常,而无需进行任务特定的训练。在MVTec-AD和VisA数据集上的实验表明,CORE显著提高了下游异常检测性能,并且可以与各种LMM集成。

  6. TOOL · CL_275483 ·

    新基准UnifiedAttack针对LMM在有害图像-文本生成中的安全性

    研究人员开发了UnifiedAttack,这是一个新的基准,用于评估大型多模态模型(LMM)在通过协调文本和图像模态生成有害内容时的安全性。该方法旨在识别超出单个模态威胁总和的风险。该基准包括合成的虚假信息查询和一个采用上下文重塑(ICR)和认知规划注入(CPI)的框架,通过操纵模型的推理过程来绕过安全过滤器。对当前LMM架构的评估表明,UnifiedAttack可以系统地利用模型的有用性和连贯性进行有害生成,这凸显了对逻辑感知防御的需求。

  7. RESEARCH · CL_256939 ·

    RegRet框架增强大型多模态模型中的区域级检索

    研究人员推出RegRet,一个旨在改进大型多模态模型(LMMs)中区域级检索的新框架。该方法侧重于增强图像内详细区域特征的捕获,同时保持整体的全局检索性能。RegRet利用区域感知编码器和多阶段训练流程,包括本地化字幕和区域对比学习。为了解决现有基准测试的局限性,还开发了REGMB基准,该基准包含跨四个任务的22.5万个对比对。

  8. RESEARCH · CL_245276 ·

    新的LogiScope-VQA基准显示,在工业危险识别方面,大型多模态模型(LMMs)的表现落后于人类

    一个名为LogiScope-VQA的新基准数据集已被开发出来,用于评估大型多模态模型(LMMs)在工业环境中识别物流危险的能力。该数据集包含图像、视频和视觉问答(VQA)对,并被用于测试GPT-5.5、Gemini-3.1 Pro和Claude Opus 4.7等知名模型。实验表明,这些先进模型在危险识别的感知、理解和推理方面仍未达到人类水平,凸显了显著的改进空间以及阻碍实际部署的安全偏见。

  9. TOOL · CL_229131 ·

    新基准测试AI在反事实视频中的社交推理能力

    研究人员推出了SocialReasonBench,这是一个新的视频问答基准,旨在评估大型多模态模型(LMMs)的社交推理能力。该基准利用了游戏《底特律:变人》中的反事实叙事视频,玩家的选择会导致不同的社交结果。SocialReasonBench评估七个推理维度,包括意图识别、情感共情和反事实推理,结果显示当前的LMMs在基本的社交理解方面表现良好,但在更复杂的原因和反事实场景方面存在困难。

  10. TOOL · CL_219046 ·

    新的ImgCoder框架生成科学准确的图像以供AI推理

    一篇新的研究论文介绍了一个名为ImgCoder的框架,该框架旨在生成科学准确的图像,解决了当前文本到图像模型常生成视觉上合理但逻辑上不正确的输出的局限性。该研究提出了SciGenBench用于评估合成图像的科学严谨性,并证明了使用这些高保真图像对大型多模态模型(LMMs)进行微调可以显著提高它们的推理能力,这与基于文本的AI的进步类似。

  11. TOOL · CL_218266 ·

    新的 MedReaMM 基准揭示大型多模态模型在临床诊断方面存在困难

    研究人员推出了 MedReaMM,这是一个旨在评估大型多模态模型(LMM)在临床环境中诊断综合能力的新基准。与之前侧重于孤立文本或视觉任务的基准不同,MedReaMM 整合了患者病史和多张医学影像,以评估鉴别诊断的准确性。该基准包含 625 个专家验证的病例,结果显示,在接受评估的 23 个 LMM 中,大多数的诊断准确率低于 50%,这凸显了它们在执行专家级临床推理能力方面存在的显著差距。

  12. TOOL · CL_212193 ·

    ArmorOCR框架通过新的AdvSpot基准增强了对抗性OCR感知能力

    研究人员推出ArmorOCR,一个新颖的两阶段训练框架,旨在增强光学字符识别(OCR)在对抗性攻击下的鲁棒性。该框架通过提出AdvSpot来解决现有OCR基准的局限性,AdvSpot是第一个专门用于基于基础的对抗性OCR评估的基准,包含390张具有区域级标注的图像,涵盖各种对抗性OCR类型。ArmorOCR利用On-Policy Self-Distillation (OPSD) 从转换后的观测中获取对抗性OCR感知能力,并通过Grou…

  13. TOOL · CL_210614 ·

    新的强化学习框架推进3D点云质量评估

    研究人员推出PCQA-R1,一个新颖的无参考3D点云质量评估强化学习框架。该系统利用链式思考数据集和高斯邻近奖励来提高跨不同数据集和评分尺度的泛化能力。实验表明,PCQA-R1在跨数据集泛化方面达到了最先进水平,并在域内准确性方面具有竞争力。

  14. TOOL · CL_206164 ·

    新的Latent-OPD方法增强了LMM在帧高效视频推理方面的能力

    研究人员推出了一种新方法Latent-OPD,用于提高大型多模态模型(LMM)在视频推理方面的效率。该技术通过引入轨迹级潜在蒸馏来增强On-Policy Distillation(OPD),专注于推理轨迹末端的隐藏状态,以更好地捕捉累积的视觉证据。一种渐进式教师前瞻策略进一步将学生模型层与更深的教师层对齐。在六个视频推理基准上的实验表明,Latent-OPD的性能显著优于标准的仅输出OPD,尤其是在帧数有限、视频长或证据聚合任务复杂的…

  15. TOOL · CL_193988 ·

    新框架增强了密集体育视频分析的AI推理能力

    研究人员开发了SportsGrounder,一个旨在提高大型多模态模型(LMMs)在分析密集体育视频时的推理能力的新框架。该框架通过引入领域引导的对象提案和交错式地面化融合机制,解决了区分视觉上相似的实体(如穿着相同队服的球员或球)的挑战。这种方法将显式的边界框坐标与隐式的视觉语义相结合,在不增加过多序列长度的情况下保持时间对齐。此外,还采用了一个动作感知监督模块,以确保模型学习准确的运动表示,减少对文本偏见的依赖,并使用混合偏好优化…

  16. TOOL · CL_191123 ·

    新的ReGraph框架使LMM能够从食物图像生成结构化食谱图

    研究人员推出了ReGraph,这是一个新颖的数据集和框架,旨在使大型多模态模型(LMM)能够从食物图像生成结构化食谱图。该方法旨在明确表示食材、烹饪动作和工具,以及它们的状态变化和过程依赖关系,超越了简单的文本食谱生成。实验表明,虽然当前的LMM在生成合理的文本方面表现出色,但它们在捕捉准确生成图所需的详细过程知识方面存在困难,突出了食材状态捕捉是一个关键挑战。

  17. TOOL · CL_172069 ·

    开源多模态搜索代理POINTS-Seeker解决了上下文限制问题

    研究人员推出了POINTS-Seeker,这是一种开源多模态搜索代理,旨在克服当前大型多模态模型(LMM)的局限性。该系统解决了从头开始培养搜索代理和在长时间交互中管理上下文爆炸的挑战。它采用了一种Agentic Seeding训练方法来引导工具使用和规划,以及一种V-Fold记忆管理机制,该机制将最近的交互保存为文本,同时将过时的上下文编码到视觉空间中以避免令牌冗余。由此产生的POINTS-Seeker-8B模型在其规模上展示了多模…

  18. TOOL · CL_143835 ·

    新框架使用LMM纠正视觉物种识别错误

    一篇新研究论文提出了一个名为事后纠错(POC)的框架,以提高视觉物种识别(VSR)的准确性。研究发现,虽然大型多模态模型(LMM)在VSR方面的表现不如专家少样本学习(FSL)模型,但它们可以有效地纠正这些专家模型所犯的错误。POC框架利用LMM来优化FSL模型的预测,在五个VSR基准测试中,无需额外训练即可将准确率平均提高6.4个百分点。

  19. TOOL · CL_141746 ·

    新的VVM-Tuning框架增强了大型多模态模型在未见过的视觉模态上的能力

    研究人员开发了一个名为VVM-Tuning的新训练框架,以增强大型多模态模型(LMMs)在各种视觉模态上的泛化能力。该方法从RGB场景合成各种视觉外观,以帮助模型将不变的语义信息与特定于模态的特征分离开来。通过在提示中引入模态上下文并使用指令调优,该框架使LMMs能够以零样本方式适应未见的模态。为了评估这种方法,研究团队创建了VVM-Bench,这是一个包含六种真实和合成模态的基准测试,并在几个测试模型上展示了语义感知和模态理解方面的显著改进。

  20. TOOL · CL_133657 ·

    新的HART技术使大型多模态模型(LMM)能够在无标注的情况下对高分辨率图像进行推理

    研究人员开发了一种名为HART(High-resolution Annotation-free Reasoning Technique,高分辨率无标注推理技术)的新技术,以改进大型多模态模型(LMM)处理高分辨率图像的方式。当前LMM在处理高分辨率图像生成的大量token时遇到困难,通常需要昂贵的人工标注来识别重要区域。HART采用闭环框架和一种称为AP-GRPO的策略优化方法,使LMM能够在没有外部监督的情况下自我验证关键区域。在多…