研究人员推出 MetaEncoder,这是一种新颖的双编码器架构,专为使用自然语言界面的多模态决策系统而设计。该系统名为 System One,处理用户请求和以自然语言表达的候选选项,并辅以图像和视频输入。MetaEncoder 对 Muse-Glimmer 30B 模型进行微调,通过单向对比学习来处理小型封闭集和大型开放集候选空间。在众多基准测试中的评估表明,MetaEncoder 在许多任务上均优于最先进的多模态编码器,尽管在高度依赖推理的场景中仍面临局限性。 AI
影响 通过实现自然语言交互并提高处理大型候选集效率,增强了多模态决策系统。
排序理由 该集群包含一篇详细介绍新模型架构及其评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →