研究人员开发了一种名为策略诱导面向脆弱性调优(PIVOT-Q)的新方法,以提高量化超大规模数组(VLA)的泛化能力。量化是减小模型尺寸的过程,有时会使VLA更容易受到环境干扰,尽管其在分布内的性能保持不变。PIVOT-Q通过使用全精度策略作为教师来选择性地解决这些脆弱状态,从而在各种VLA骨干网络和量化技术中实现一致的性能恢复。这种方法比全状态蒸馏更有效,所需的蒸馏预算显著减少。 AI
影响 提高了量化AI模型的鲁棒性和泛化能力,可能有助于更广泛地部署更小、更高效的模型。
排序理由 学术论文,详细介绍了一种改进量化模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →