Token expansion module

新方法提高点云Transformer的效率

研究人员推出了一种名为位置锚点调优（Position Anchor Tuning, PAT）的新型参数高效微调方法，旨在提高预训练点云Transformer的推理效率。PAT通过使用令牌聚合和扩展模块来解决多头注意力和前馈网络块中的计算成本。这些模块提取代表性令牌进行处理，从而降低计算负载，然后将学习到的表示传播回原始令牌。该方法还结合了基础共享低秩适配（BSLoRA），以通过最少的训练参数实现任务特定表示的有效学习。