Flamingo

MM1: Apple 的首个大型多模态模型

研究人员开发了 Cornserve，一个开源的分布式服务系统，旨在高效处理任何到任何的多模态模型，该模型可以处理和生成文本、图像和音频等各种数据类型的组合。通过分离模型组件并独立扩展它们，该系统将吞吐量提高了 3.81 倍，并将尾部延迟降低了 5.79 倍。另外，一个名为 XTC-Bench 的新评估框架已被引入，用于评估统一多模态模型的跨任务一致性，结果显示在单个任务上的高表现并不保证它们之间的语义对齐。