PulseAugur
中
实时 20:22:34
实体 LVLMs

LVLMs

PulseAugur coverage of LVLMs — every cluster mentioning LVLMs across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
18
90 天内 66
发布 · 30天
0
90 天内 0
论文 · 30天
18
90 天内 66
层级分布 · 90 天
主题
关系
情绪 · 30 天

9 天有情绪数据

最近 · 第 1/4 页 · 共 66 条
  1. TOOL · CL_368277 ·

    新型AI代理增强胸部X光诊断推理能力

    研究人员开发了CXReasonAgent,这是一种旨在提高大型视觉语言模型(LVLM)在临床环境中的可靠性和适应性的诊断工具。与标准的LVLM不同,CXReasonAgent将大型语言模型与专门的诊断工具相结合,以确保其推理基于可验证的视觉和诊断证据。这种方法旨在克服当前LVLM的局限性,这些模型通常会产生看似合理但未经证实的响应,并且需要昂贵的再培训才能执行新任务。引入了一个新的多轮对话基准CXReasonDail来评估该代理的性能…

  2. TOOL · CL_370443 ·

    新框架减少视觉语言模型中的幻觉

    研究人员开发了视觉证据引导解码(VEGD),一个旨在减少大型视觉语言模型(LVLMs)中幻觉的新框架。这种无需训练的方法在解码过程中识别并利用查询相关的视觉证据。通过聚合具有强烈视觉响应的定位头,并将生成分支导向该证据,VEGD旨在缓解语言先验或不相关的图像区域导致不准确输出的问题。在各种LVLMs和基准测试上的实验表明,在减少幻觉方面取得了持续的改进。

  3. RESEARCH · CL_360342 ·

    新研究重新思考AI模型鲁棒性评估

    两篇新研究论文探索了评估AI模型对抗鲁棒性的新方法。第一篇论文《表征几何作为对抗鲁棒性的诊断工具》提出通过分析神经网络的内部表征来理解其鲁棒性,并认为对抗性训练会改变模型组织数据的方式。第二篇论文《超越基于攻击的准确性:通过结构梯度对齐重新思考对抗鲁棒性评估》引入了一种名为结构梯度对齐(SGA)的新指标,用于衡量输入内容与模型敏感度之间的对齐程度,为包括视觉-语言模型在内的各种深度神经网络提供了一种与攻击无关的方法。

  4. TOOL · CL_360299 ·

    新的 VEPO 方法解决了 LVLM 中的多语言幻觉问题

    研究人员开发了 VEPO(视觉证据引导的偏好优化),一种用于减少大型视觉语言模型(LVLM)中多语言幻觉的新型训练方法。该方法解决了 LVLM 生成流畅但视觉上不准确的响应的问题,尤其是在低资源语言中。VEPO 利用来自英语查询的视觉证据来指导偏好优化,鼓励模型在中文、法文和印地文等语言的答案中依赖图像内容而非语言先验。实验表明,VEPO 能有效减少幻觉并提高这些语言的感知能力,在资源最少的语言中获得最显著的提升。

  5. TOOL · CL_358385 ·

    新基准揭示大型视觉语言模型个性化隐私保护能力不足

    研究人员推出了一项新基准 SPY-Bench,用于评估大型视觉语言模型(LVLM)的个性化隐私保护能力。该基准包含超过 32,700 个图像-问题对,涵盖各种类别和场景的个性化隐私指令。目前 LVLM 在此方面的表现不佳,顶级模型的合规性准确率仅约为 24%,表明其对上下文隐私的理解有限。为解决此问题,研究人员开发了对齐方法,包括一种噪声对比对齐变体,该方法达到了 96.88% 的准确率,同时保持了通用性能,标志着朝着更可控、更合乎道…

  6. TOOL · CL_359583 ·

    CASCADE++ 框架通过视觉支架增强图像异常检测

    研究人员开发了 CASCADE,一个旨在改进图像中逻辑异常检测 (LAD) 的新颖框架。使用大型视觉语言模型 (LVLMs) 的传统 LAD 方法经常会遇到“文本-图像不匹配”问题,即模型必须从单个图像中提取各种视觉证据以进行不同的文本检查。这可能导致实例混淆和尺度漂移等错误。CASCADE 通过生成约束特定的视觉支架来解决此问题,有效地使视觉输入适应每个验证步骤。增强版 CASCADE++ 在对象级别进一步完善了这些支架,在 MVT…

  7. TOOL · CL_341155 ·

    新探针揭示视觉语言模型如何进行内部图像关联

    研究人员开发了一种新方法,用于理解大型视觉语言模型(LVLMs)如何在交织的文本和图像输入中识别相关图像。他们引入了ICIR-MCQ,一种分析头部层面图像检索的受控探针。通过检查注意力质量和输出端信息,他们识别出两类不同的“指针”头,用于定位目标图像,以及“写入器”头,其输出包含识别图像的信息。研究发现,对多图像推理重要的头部集中在这两类头的交集处,这表明存在一种复杂的内部图像关联机制。

  8. RESEARCH · CL_341150 ·

    新方法剪枝 LVLM 中的视觉令牌以提高效率

    研究人员开发了新的方法来剪枝大型视觉语言模型(LVLM)中的视觉令牌,在不显著损失性能的情况下显著降低了计算成本。第一种方法 BtsPruner 在视觉编码过程中识别令牌角色,并有选择地保留互补的局部和全局信息。第二种方法 RI-Prune 专门针对多图像 LVLM,通过使用关系和信息感知,超越了在多图像场景中被证明无效的基于注意力的显著性。这两种技术都展示了在各种 LVLM 架构中提高效率和保留性能。

  9. TOOL · CL_338461 ·

    新的TARGRS框架以最小影响去毒化大语言模型和多模态大语言模型

    研究人员开发了一种名为TARGRS的新型测试时框架,用于减少大语言模型(LLMs)的毒性内容生成。该方法通过学习模型潜在空间中毒性与非毒性状态之间的过渡来指导表示采样。TARGRS能以对模型核心能力最小的影响有效地引导模型产生非毒性输出,并且运行速度几乎与原始大语言模型一样快。该框架在去毒化多模态大语言模型(LVLMs)方面也取得了成功。

  10. RESEARCH · CL_332838 ·

    新基准揭示了MLLM视觉推理能力的局限性

    研究人员正在开发新的基准和方法来评估多模态大型语言模型(MLLM)的视觉推理能力。一个名为“The Prestige”的新基准使用魔术来挑战模型对时间推理和因果推理的理解,揭示了当前模型与人类表现之间存在的巨大差距。另一种方法 ReGap-Bench 表明,多步视觉推理的失败源于“参考差距”,即模型难以将语言与特定的视觉元素联系起来,并且外部参考可以在不重新训练的情况下提高准确性。此外,一项关于“视觉思维忠实度”的研究发现,即使最终答…

  11. TOOL · CL_325094 ·

    新方法通过令牌剪枝和编码优化LVLMs用于3D-VQA

    研究人员开发了TP-JSCC,一种用于优化云边协同中大型视觉语言模型(LVLMs)在3D视觉问答(3D-VQA)任务中的新方法。该方法包括一个基于局部和全局语义的混合令牌剪枝(LGS-HTP)模块,通过解耦前景-背景令牌并选择关键语义来显著减少视觉令牌数量。此外,一个令牌联合源-信道编码(T-JSCC)模块对这些剪枝后的令牌进行压缩,以在有损信道上进行鲁棒传输,并以最小的开销适应波动的条件。在ScanQA和SQA3D数据集上的实验证明…

  12. TOOL · CL_325017 ·

    草图揭示 LVLM 的结构理解,精确定位基础层

    研究人员开发了一种新颖的方法来分析大型视觉语言模型 (LVLM),方法是使用草图,草图剥离了光度细节,揭示了结构理解。该技术评估 LVLM 在部件排序、空间基础和识别负责这些功能的特定网络层方面保留和应用人类约定的程度。研究发现,LVLM 的部件排序与人类约定一致,并且它们的注意力机制可以在没有明确监督的情况下执行部件级基础,并将此能力集中在中网络频段。

  13. TOOL · CL_321973 ·

    新的MAGIC方法增强了视觉语言模型对抗偏见的鲁棒性

    研究人员开发了一种名为MAGIC(Margin-gated Contrastive Debiasing with Evidence Restoration,基于证据恢复的边距门控对比消偏)的新方法,以提高大型视觉语言模型(LVLMs)在推理过程中对抗语言偏见的鲁棒性。该方法根据决策边距选择性地激活扰动分支,以降低计算成本并增强消偏效果。MAGIC还为模糊样本纳入了证据恢复,并使用校准数据集修剪无效分支,在现有基线之上展示了有效性。

  14. RESEARCH · CL_321871 ·

    llama.cpp 更新、AI 代码工具、幻觉缓解研究以及 LLM 中立性讨论

    llama.cpp 项目发布了更新,重点关注跨不同操作系统和硬件的性能和兼容性。版本 b11977 解决了 ggml-openvino 集成在 SCALE 操作方面的问题,改进了对 strided views 的处理,并防止了在某些配置下的崩溃。同时,版本 b11957 强调了 AI 代码创建工具(如 GitHub Copilot)的进步,并通过 MCP Registry 集成了外部工具,此外还包括了用于开发者工作流和安全性的更广泛的…

  15. TOOL · CL_303411 ·

    新的“接地ID”概念提升LVLM性能

    研究人员引入了一个名为“接地ID”的新概念,以提高大型视觉语言模型(LVLM)的性能。当使用外部视觉线索(如符号或网格线)来构建视觉和文本数据时,会形成这些潜在标识符。研究表明,这些线索有助于LVLM在视觉元素及其描述之间建立更准确的连接,从而改善跨模态接地,减少幻觉,并提高多模态任务的整体性能。

  16. TOOL · CL_301341 ·

    新框架 GeoCloak 增强图像地理定位隐私

    研究人员开发了 GeoCloak,一个新颖的代理框架,旨在保护图像中的地理定位隐私。该系统解决了大型视觉语言模型(LVLM)从照片推断位置的风险。GeoCloak 通过识别和抑制决定位置的关键线索(尤其是在图像视觉外围的线索)来工作,同时保持图像的整体语义和效用。评估表明,GeoCloak 在各种数据集和多个 LVLM 上显著降低了地理定位推断的准确性,优于现有方法。

  17. TOOL · CL_294509 ·

    新的MVGraph基准揭示LVLM在多视图视觉图推理方面存在困难

    研究人员推出MVGraph,一个旨在评估大型视觉语言模型(LVLM)在跨多个互联视觉图视图组合证据能力的新基准。现有基准通常侧重于单个图,忽略了在不同视角之间对齐和合并信息这一关键方面。MVGraph包含8,000个实例,涵盖8个图论任务,源自涉及部分和时间图视图的场景,每个问题都专门设计为无法仅从单个视图解决。该基准还提供诊断任务,以评估四项关键能力:感知、对齐、组合和推理,揭示了当前LVLM在跨视图边对齐和关系级组合方面存在的重大瓶颈。

  18. RESEARCH · CL_294325 ·

    新基准和框架推动AI空间推理能力发展

    研究人员正在开发新的框架和基准来提高AI模型,特别是大型视觉语言模型(LVLMs)的空间推理能力。Anvil等项目专注于具身空间智能的统一数据生成和训练,而RoTA-Bench和GeoSpatialBench通过交互式任务和真实世界数据评估3D空间推理和地理空间理解能力。这些努力旨在弥合被动识别与主动操纵空间信息之间的差距,解决当前模型在推断几何形状、预测旋转和根据视觉反馈优化动作方面的局限性。

  19. RESEARCH · CL_271509 ·

    新框架通过软思维和自蒸馏增强LVLM空间推理能力 · 追踪3个来源

    研究人员开发了两种新方法来增强大型视觉语言模型(LVLM)的空间推理能力。一种方法是软空间推理(Soft Spatial Reasoning),它引入了一个“软思维”框架,允许模型在每个推理步骤中通过混合词嵌入来维持连续的软状态,而不是固定为单个离散词。这种方法包括一个AdaptSoft控制器来管理软化程度,并在各种空间基准测试中表现出改进的性能。第二种方法是Spatial-OPSD,它利用无标签的自蒸馏来提高空间推理能力,而无需依赖…

  20. TOOL · CL_254505 ·

    新的 TestHallVQA 基准测试探究 LVLM 在冗余上下文中的推理能力

    研究人员推出了 TestHallVQA,这是一个新的基准测试,旨在评估大型视觉语言模型 (LVLM) 在文档级推理方面的能力,特别是在存在冗余或不相关信息的情况下。该基准测试旨在通过结合文档规模和人类考试的复杂性来解决现有 VQA 数据集的局限性。TestHallVQA 还引入了一种新颖的指标 F1-R extsuperscript{2},用于评估推理能力和对抗上下文冗余的鲁棒性。