University of Massachusetts Medical School
PulseAugur coverage of University of Massachusetts Medical School — every cluster mentioning University of Massachusetts Medical School across labs, papers, and developer communities, ranked by signal.
-
新研究探讨统一多模态模型中的概念绑定
研究人员开发了一种新颖的方法来研究统一多模态模型（UMMs）中理解和生成之间的关系。通过构建一个仅通过一个任务方向进行训练的视觉实体，他们发现生成训练会植入一个模型只能匹配的概念，而理解训练则允许模型也能生成该概念。研究表明，跨任务可用性取决于概念绑定进入共享计算的位置，特别是在理解路径的入口点需要一个共享的语义格式。
-
新框架全面评估统一多模态人工智能模型
研究人员推出了一种名为“自生成理解”（SGU）的新框架，用于评估统一多模态模型（UMMs）。当前的方法通常分别评估视觉生成和理解能力，未能捕捉UMMs的集成能力。SGU提供了一种无需标注的方法，模型首先描述图像，然后根据该描述重建视觉上下文，最后对其自生成输出进行推理。实验表明，即使是先进的UMMs在对其自身生成的内容进行推理时也存在困难，这凸显了传统评估技术所忽略的局限性。
-
STBridge框架弥合了多模态模型中理解与生成之间的差距
研究人员推出STBridge，一个旨在提高统一多模态模型（UMMs）中理解与生成之间对齐度的新框架。当前的UMMs常常在语义一致性方面遇到困难，这意味着它们可能正确描述了预期的图像编辑，但却无法生成相应的视觉变化。STBridge通过创建共享目标对齐来解决这一问题，将模型的描述能力与其生成输出联系起来。该方法采用两阶段过程：初始监督微调以建立通用路径，然后进行强化学习以围绕目标状态优化协调。实验表明，STBridge在各种基准测试中提…
-
新框架Uni-Plan使用多模态模型增强AI决策能力
研究人员推出了一种新颖的规划框架Uni-Plan，该框架利用统一多模态模型（UMMs）来增强决策能力。与以往仅依赖基于语言的推理的方法不同，Uni-Plan利用UMMs处理多模态输入和输出，通过生成的视觉内容进行推理。该框架将策略、动态模型和价值函数整合到一个模型中，并采用自判别过滤技术来防止动态预测中的幻觉。实验表明，与基于视觉语言模型（VLMs）的方法相比，Uni-Plan在具身决策任务中的成功率显著提高，展示了强大的数据可扩展性…