multimodal models
PulseAugur coverage of multimodal models — every cluster mentioning multimodal models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架通过分类法和语料库增强多模态上下文学习
研究人员开发了UniICL，一个旨在改进统一多模态模型上下文学习（ICL）的框架。该方法解决了ICL对示例选择和格式的敏感性问题，这对于处理跨不同模态的理解和生成模型尤其具有挑战性。UniICL引入了一个六级分类法来对演示角色进行分类，并引入了一个大规模语料库UniICL-760K来促进ICL的实现。此外，还提出了一个名为上下文自适应原型调制器的即插即用模块来增强少样本稳定性。在UniICL-Bench上的评估表明，该方法取得了具有竞…
-
新基准揭示视觉语言模型在处理金融图表和对话时遇到困难
引入了一个新的基准Scribe Finance，用于评估多模态模型理解复杂法国金融文件的能力。该基准包含文本提取、表格理解和图表解读方面的问题，结果显示，尽管当前的视觉语言模型（VLMs）在文本和表格任务上表现良好，但在图表分析方面却面临显著困难。此外，研究强调了一种关键的失败模式，即多轮对话中的初始错误会不断累积，导致准确性大幅下降，而与模型大小无关。
-
新的MedCTA基准测试评估临床AI代理的工具使用能力
研究人员推出了MedCTA，一个旨在评估AI代理在临床环境中能力的新的基准测试。该基准测试侧重于需要规划、工具检索和证据获取的任务，超越了简单的识别或单轮问答。MedCTA包含107个真实世界的临床任务，涵盖了五个已部署工具的临床医生验证轨迹，评估了工具选择、执行稳定性和结果质量等方面。对18个模型的初步基准测试显示，即使是先进的系统在多步临床工具使用方面也存在困难，表现出协议失败和错误工具调用的问题。
-
中国AIGC峰会探讨AI代理、多模态模型和算力
第四届中国AIGC产业峰会将于5月20日举行，聚焦人工智能的实际应用和未来。本次活动将邀请来自昆仑万维、智谱AI、商汤科技等领先公司的18位知名演讲嘉宾，并汇聚来自Amazon Web Services和Fusion Fund的全球视角。讨论将涵盖AI代理的商业化、多模态和空间智能的进步，以及AI基础设施和算力的不断演变格局，特别强调从训练驱动向推理驱动AI的转变。
-
Yeti 分词器使 AI 能够生成蛋白质序列和结构
研究人员开发了 Yeti，一种新颖的蛋白质结构分词器，专为多模态 AI 模型设计。与优先考虑重建的先前方法不同，Yeti 使用一种无需查找的量化方法，并以流匹配目标进行训练，从而能够准确重建和有效生成蛋白质序列和结构。这种紧凑的分词器比现有模型具有更少的参数，有利于训练能够共同生成合理蛋白质设计的有效多模态模型。
-
AI词汇表解释了幻觉和多模态模型等关键术语
该集群重点介绍了解释常用人工智能术语的资源。这些文章旨在为普通大众揭开“幻觉”和“多模态模型”等术语的神秘面纱。对于任何希望了解不断发展的人工智能领域的人来说，它们都是必读内容。