LMMs
PulseAugur coverage of LMMs — every cluster mentioning LMMs across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的 MedReaMM 基准揭示大型多模态模型在临床诊断方面存在困难
研究人员推出了 MedReaMM，这是一个旨在评估大型多模态模型（LMM）在临床环境中诊断综合能力的新基准。与之前侧重于孤立文本或视觉任务的基准不同，MedReaMM 整合了患者病史和多张医学影像，以评估鉴别诊断的准确性。该基准包含 625 个专家验证的病例，结果显示，在接受评估的 23 个 LMM 中，大多数的诊断准确率低于 50%，这凸显了它们在执行专家级临床推理能力方面存在的显著差距。
-
综述详述多模态智能体框架及其应用
一篇新的综述论文探讨了多模态智能体框架的演变和影响，这些框架将大型语言模型（LLMs）与图像、音频和视频等不同数据类型集成。该论文分析了多模态如何增强智能体在感知、推理、规划、记忆和行动方面的能力。它根据现有系统的架构选择对其进行分类，并回顾了其在机器人、网页导航和内容生成等领域的应用，同时讨论了性能和效率的权衡。
-
作者认为人工智能的智能定义忽略了自然世界的认知能力
作者认为，当前人工智能领域对智能的定义过于狭隘地集中在人类语言和符号处理上，而忽略了在自然界中观察到的复杂认知能力。文章以帝企鹅在严酷的南极条件下识别配偶为例，认为真正的智能包含了更广泛的能力，包括复杂的环境导航和社会联系，而这些能力常常被简单地归结为生物本能。作者认为，这种狭隘的关注导致了令人印象深刻但最终有限的人工智能系统，以及对智能真正含义的误解。
-
新的SAGE数据集旨在解决南亚医学影像中的AI偏见
研究人员推出SAGE，这是一个包含1300张来自南亚地区、由专家注释的胃肠内窥镜图像的新数据集。该数据集旨在解决现有AI训练数据中地理人群代表性不足的问题，这可能导致模型产生偏见。SAGE包含图像、字幕、幻觉标签、标签和问答对，适用于图像字幕、分类和微调大型多模态模型（LMM）等任务。使用SAGE进行基准测试显示，现有模型应用于南亚数据时性能显著下降，凸显了在医疗保健领域进行更具包容性的AI开发的必要性。
-
大型多模态模型增强无线移动性管理
研究人员开发了一种新颖的移动性管理方案，利用大型多模态模型（LMMs）来增强无线通信性能。该方法整合了来自RGB-D图像的环境数据和传统的无线测量数据，以预测未来的信道容量并优化切换决策。基于LMM的方案旨在改善用户设备的移动模式并最大化累积信道容量，与现有的深度学习方法相比显示出显著的优势。
-
New Regularizer Enhances Taxonomic Knowledge in Large Multimodal Models
研究人员开发了一种名为分层表示正则化（$HiR^2$）的新方法，以提高大型多模态模型（LMMs）的分类知识。当前的LMMs通常缺乏对概念之间语义关系的理解，导致在分层视觉识别方面存在不一致。$HiR^2$引入了一个语义感知的视觉树构建框架，该框架从中间LLM层提取特征。该正则化器包括一个分类蕴含损失和一个判别性分散损失，以强制执行分层一致性并促进相似嵌入的分离。
-
UnAC方法通过自适应提示增强LMM的复杂多模态推理能力
研究人员推出了一种新颖的多模态提示方法UnAC，旨在增强大型多模态模型（LMM）在复杂视觉任务上的推理能力。该方法采用自适应视觉提示来帮助模型聚焦于相关图像区域，并使用图像抽象提示来提取关键信息。此外，UnAC还包含一个渐进式自我检查机制，用于验证分解的子问题的答案，从而提高整体推理准确性。
-
新的CSteer方法无需微调即可引导大型多模态模型指代多个区域
研究人员开发了一种新的无需训练的方法，称为上下文潜在引导（CSteer），以增强大型多模态模型（LMMs）准确识别和指代图像中多个特定区域的能力。该方法在推理过程中修改模型的内部表示，使其能够更好地区分区域并考虑全局上下文，而无需额外的微调或架构更改。在各种数据集上的实验表明，配备CSteer的LMM在视觉指代任务上超越了专门的指代模型，确立了新的最先进水平。
-
研究人员开发Glance-or-Gaze，通过自适应聚焦提升大型多模态模型的视觉搜索能力
研究人员推出Glance-or-Gaze (GoG)，一个旨在改进大型多模态模型（LMM）处理知识密集型视觉查询的新框架。与之前不加区分地检索信息的旧方法不同，GoG采用选择性注视机制，自适应地聚焦于相关的图像区域或全局上下文。该框架采用双阶段方法进行训练，结合了监督微调和复杂度自适应强化学习，以增强迭代推理能力和在复杂视觉任务上的表现。
-
新基准UNIKIE-BENCH评估大模型在文档信息提取方面的能力
研究人员推出了UNIKIE-BENCH，这是一个旨在系统评估大语言多模态模型（LMMs）从视觉文档中提取关键信息性能的新基准。该基准包含两个赛道：一个用于具有预定义模式的约束类别KIE，另一个用于开放类别KIE。使用15个最先进的LMMs进行的实验突显了在处理不同模式、长尾信息和复杂布局时性能显著下降，表明LMMs在该领域的准确性和推理能力仍面临挑战。