Swapnanil Mukherjee

新的C3PO基准揭示了全模态AI的跨模态推理缺陷

研究人员开发了C$^3$PO，一个旨在评估全模态模型跨模态推理能力的新基准。该基准包含视频、音频、图像和文本共3,404个样本，专门测试模型组合来自不同模态信息和解决故意矛盾的能力。研究发现，尽管人类准确率很高，但即使是Gemini-3.1 Pro等先进模型也表现不佳，其中很大一部分失败归因于模态主导，即模型优先考虑一种输入类型而非其他，特别是文本。