PIVOT-Q

新的调优方法恢复量化VLA的泛化能力

研究人员开发了一种名为策略诱导面向脆弱性调优（PIVOT-Q）的新方法，以提高量化超大规模数组（VLA）的泛化能力。量化是减小模型尺寸的过程，有时会使VLA更容易受到环境干扰，尽管其在分布内的性能保持不变。PIVOT-Q通过使用全精度策略作为教师来选择性地解决这些脆弱状态，从而在各种VLA骨干网络和量化技术中实现一致的性能恢复。这种方法比全状态蒸馏更有效，所需的蒸馏预算显著减少。