Changjiang Jiang
PulseAugur coverage of Changjiang Jiang — every cluster mentioning Changjiang Jiang across labs, papers, and developer communities, ranked by signal.
-
新的基准和测试方法提高了VQA模型的鲁棒性和医学准确性
研究人员开发了用于视觉问答(VQA)模型的新基准和测试方法。MInfoVisQA是一个多语言基准,用于评估模型在不同语言中保持对信息丰富视觉内容理解的能力,揭示了显著的鲁棒性差距。M3-Test引入了覆盖审计,以识别VQA模型在不同模态同时发生变化时的漏洞,发现许多模型即使通过了单一模态测试后仍会失败。此外,QCAP-VQA提出了一种新颖的医学VQA监督方法,该方法使用问题条件先验质量来确保模型关注相关解剖结构,展示了改进的准确性和与…
-
新框架利用多模态学习增强自闭症识别
研究人员开发了UniAR,一个旨在改进自闭症谱系障碍(ASD)识别的新型框架。该系统利用大型多模态模型生成分层诊断描述,解决了临床文本数据稀缺的问题。UniAR 包含一个基于专家混合的多尺度对齐模块,用于匹配视觉数据与语义表示。在脑部 MRI 和面部表情数据集上的实验表明,UniAR 的性能优于现有方法,实现了高准确率,并证明了其在 ASD 筛查中的鲁棒性和可解释性。
-
新框架增强了大型语言模型理解复杂视觉信息的能力
研究人员开发了一个名为 Think with Structured Grounding (TwSG) 的新框架,以提高多模态大型语言模型 (MLLMs) 的细粒度感知能力。该框架旨在减少推理延迟,并增强模型理解图表和表格等复杂视觉信息的能力,而这些信息通常由于依赖外部工具以及空间结构差异而给标准 MLLMs 带来挑战。TwSG 将工具使用能力直接集成到模型中,从而能够在单次前向传播中实现高效推理。训练过程包括使用聚焦区域描述进行监督微…