Wavelet Low-Rank Adaptation

WaRA: Wavelet Adaptation for Medical Image Classification

研究人员推出 WaRA，这是一种新颖的、采用小波结构的适配模块，用于参数高效地微调大型预训练视觉模型以进行医学图像分类。该方法在小波域操作，以更好地捕捉医学成像至关重要的局部、多尺度特征，在效率和性能上均优于现有的 PEFT 基线。对于资源极其受限的场景，一个名为 Tiny-WaRA 的变体进一步减少了可训练参数。