OmniEvaluator

OmniEvaluator系统简化全模态基础模型评估

研究人员开发了OmniEvaluator，一个旨在简化全模态基础模型评估的新系统。该系统通过单一接口连接各种推理引擎和评估库，解决了现有文本、图像、视频和音频评估工具包之间的不兼容问题。OmniEvaluator支持一千多个基准测试，并记录每次运行以实现精确复现，结果汇总在共享仪表板中以进行跨模型比较。它还具有用于共享GPU推理的联邦模式和内置验证器以确保分数稳定性，旨在匹配商业LLM评判员的性能而无重复成本。