研究人员推出了一种新颖的框架 SmolVLA-MoE，该框架通过引入稀疏专家混合（MoE）方法来增强用于机器人操作的视觉-语言-动作（VLA）模型。该方法用多个专家前馈网络（FFN）和一个路由器替换了密集的前馈网络（FFN）层，允许每个 token 动态选择最适合动作生成的专家。SmolVLA-MoE 在推理过程中仅激活一个专家 FFN，利用约 5 亿激活参数，同时受益于总共 8 亿存储参数。在 LIBERO 基准测试上的评估表明，SmolVLA-MoE 的平均成功率为 84.25%，在多任务能力和效率方面超越了 SmolVLA 和 OpenVLA-7B 等现有模型。 AI
影响 通过优化计算资源的使用，这种方法有望带来更高效、更强大的机器人操作系统。
排序理由 该集群描述了在 arXiv 论文中提出的一种新方法和模型架构。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Libero
- mixture of experts
- OpenVLA-7B
- Radio ffn
- SmolVLA
- SmolVLA-MoE
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
