研究人员推出Youtu-Parsing-Omni,这是一种全模态解析器,能够将文档、图像、音频和视频转换为结构化的时空记录。该系统为每种模态使用一个编码器,在统一的坐标系中共享权重,并采用融合层进行跨模态注意力。统一的OmniSchema和自演化蒸馏程序OSAD允许解析器及其监督的共同演化。这个拥有50亿参数的模型在OmniDocBench和OmniParsingBench上取得了最先进的结果,尤其在音频和视频任务上表现出色,在图表解析和音乐转录方面也表现强劲。 AI
影响 该模型通过实现跨不同数据类型的证据引用,推动了智能体感知能力的发展,有望提高多模态推理能力。
排序理由 该集群描述了一篇新的研究论文,其中详细介绍了一个全模态解析器,并发布了代码和模型权重。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- OmniDocBench v1.6
- OmniParsingBench
- OmniSchema
- OmniSchema-Aware On-Policy Distillation (OSAD)
- Youtu-Omni-Encoder
- Youtu-Parsing-Omni
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →