Visual Language Models
PulseAugur coverage of Visual Language Models — every cluster mentioning Visual Language Models across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的DDX-TRACE基准测试评估视觉语言模型医学诊断轨迹
研究人员推出DDX-TRACE，这是一个旨在评估视觉语言模型（VLMs）在医学背景下诊断推理能力的新基准测试。与仅关注最终答案的现有基准测试不同，DDX-TRACE评估整个诊断轨迹，包括模型如何在连续步骤中请求证据、更新鉴别诊断以及管理不确定性。对最先进的VLMs进行的初步评估显示出显著的不足，表明模型可以在不展示健全的临床推理或高效证据收集的情况下获得最终诊断的高分。
-
新的VCG-Bench基准针对VLM图表生成和编辑
研究人员推出了VCG-Bench，这是一个旨在评估视觉语言模型（VLM）在结构化图表生成和编辑任务上的新基准。目前的VLM在这些专业工作流程中存在困难，通常依赖于可编辑性较差的基于像素的方法。VCG-Bench提出了一种使用mxGraph XML的“代码即图表”方法，以实现精确控制，并包含一个跨越六个领域的1,449个图表的数据集，以及一个定制的评估协议。
-
新框架提升视觉语言模型处理程序性任务的能力
研究人员引入了一个名为 Chain-of-Procedure (CoP) 的新框架，以增强视觉语言模型回答有关程序性任务问题的能力。该框架通过改进基于视觉线索的结构化指令检索，并使图像序列的粒度与文本步骤分解相匹配，从而解决了当前模型的局限性。CoP 首先检索相关指令，然后通过语义分解细化步骤，最后生成下一步动作，在新基准 ProcedureVQA 上取得了高达 13% 的改进。
-
新算法改进了用于语音保留的面部表情操控的视觉语言模型监督
研究人员开发了一种名为个性化跨模态情感相关性学习（PCMECL）的新算法，以改进语音保留的面部表情操控。该方法通过改进视觉语言模型（VLMs）的监督来解决配对数据有限的挑战。PCMECL通过学习基于个体视觉线索的情感个性化提示，并利用特征差分来弥合视觉和语义特征分布之间的差距来实现这一点。