Test-Time Adaptation
PulseAugur coverage of Test-Time Adaptation — every cluster mentioning Test-Time Adaptation across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
TTA is being adapted beyond traditional image classification to more complex tasks like 3D point cloud registration and video processing.
The adaptation of TTA for surgical point cloud registration and its application in video super-resolution and quality assessment demonstrate the expanding scope of TTA. This suggests that TTA techniques will continue to be explored and modified for a wider array of complex, real-world machine learning tasks beyond standard recognition problems.
Emerging TTA methods are focusing on memory and computational efficiency for on-device and real-time applications.
The development of methods like CAZO, which uses zeroth-order optimization for memory-efficient TTA without backpropagation, alongside TTA frameworks for video super-resolution and surgical point cloud registration, suggests a trend towards making TTA more practical for resource-constrained environments and real-time tasks. This indicates a growing need for TTA solutions that can be deployed directly on edge devices or within real-time processing pipelines.
Test-Time Adaptation (TTA) methods may require explicit safeguards for explanation stability in critical domains like healthcare.
Recent findings indicate that continual TTA methods can significantly alter model explanations, a critical issue for domains like computational pathology where interpretability is paramount. Future work may focus on developing TTA techniques that explicitly optimize for or preserve explanation stability alongside accuracy, especially when deployed in high-stakes applications.
-
新框架将医学图像分割重构为临床医生-模型决策问题
本文提出了一种新的少样本医学图像分割（FSMIS）框架，通过将少样本医学图像分割视为一个顺序的临床医生-模型决策问题来解决当前方法的局限性。所提出的方法包含一个交互预算，允许系统在不同阶段请求反馈或将问题提交给专家评审。其目标是通过专注于降低临床相关风险来优化稀缺专家注意力的分配，而不是仅仅依赖交互来解决领域偏移问题。
-
新的FORGE方法实现了面向微控制器上纯整数视觉模型的测试时自适应
研究人员开发了FORGE，这是一种新颖的正向测试时自适应方法，专门为在微控制器上运行的纯整数视觉模型设计。该方法通过仅使用前向传播估计来重新归一化折叠的卷积层，解决了在没有通常所需的反向传播机制的情况下将模型适应现实世界分布偏移的挑战。FORGE展示了显著的准确性提升，恢复了基于梯度的方法的大部分优势，并且足够高效，可以以最小的能源和时间成本部署在ESP32-S3等微控制器上。
-
AI模型通过新的测试时自适应技术增强部署性能 · 跟踪5个来源
近期研究论文探讨了测试时自适应（TTA）的高级技术，这是一种允许AI模型在部署期间无需标签即可优化其性能的方法。一篇综述论文提出了一个统一的框架“测试时智能”（TTI），以连接测试时自适应、学习和扩展等各种方法。其他论文引入了新颖的方法，例如在教师-学生框架中使用“固执的教师”来提高稳定性，在严格的在线设置中使用敏感度引导擦除方法（SEGA）进行持续TTA，以及用于动态图的时间记忆感知框架（DGOTTA）。此外，一种称为DESA-TT…
-
新的无梯度方法使冻结的AI模型能够进行测试时适应
研究人员开发了CASTER，一种新颖的无梯度测试时适应（TTA）方法，允许模型在不更新其参数的情况下进行适应。这种方法对于仅推理加速器、冻结模型和内存受限环境特别有用。CASTER存储源类别统计信息，并从目标批次矩估计仿射变换，在分类之前传输源分布。该方法还包括一个可传输性证书，用于识别和限制不可靠的适应性更新，从而提高性能和安全性。
-
深度学习框架ANT通过解剖结构对齐改进前列腺癌检测
研究人员开发了一个名为ANT的新颖框架，该框架利用前列腺分割来改进用于微超声图像癌症检测的深度学习模型。该方法解决了域漂移的挑战，即成像硬件和协议的差异会阻碍模型性能。通过在测试时将编码器表示与前列腺解剖结构对齐，ANT在保留关键的癌症区分结构的同时纠正了特征漂移。在评估中，与现有方法相比，ANT在活检核心和患者级别的检测中均显示出AUC得分的显著提高。
-
新方法ReNC利用神经坍塌改进开放世界测试时域自适应
研究人员开发了一种名为可靠神经坍塌近似（ReNC）的新方法，以应对开放世界测试时域自适应（OWTTA）的挑战。该方法利用神经坍塌作为结构先验，以改进源域和目标域之间的自适应，尤其是在标签分布发生变化时。ReNC通过将分布外（OOD）样本与从预训练分类器权重派生的原型进行比较来识别和过滤它们。此外，它还精炼这些原型以适应目标域，同时保持神经坍塌结构，在开放世界基准测试中表现出卓越的性能。
-
新方法解决长序列3D重建中的尺度漂移问题 · 2个来源
两篇新的研究论文VGGT-Align和GeoWeaver，解决了长序列3D重建中保持全局几何一致性的挑战。两种方法都通过引入新颖的框架来解决分块推理管道中的关键故障模式——尺度漂移。VGGT-Align利用场景几何不变锚定（SGIA）提取并利用几何不变性来约束尺度，而GeoWeaver则采用几何先验模型（GPM）和测试时自适应（TTA）进行分层几何组装。两种方法在基准测试中均展示了最先进的性能，显著提高了轨迹稳定性和重建质量。
-
新的PRISM框架解决了音频-文本模型中的严重声学噪声问题
研究人员开发了PRISM，一个新颖的、无需训练的框架，用于将音频-文本基础模型（ATMs）适应于严重的声学噪声。该方法基于仿射噪声假设，估计并逆转多模态潜在空间中的低秩仿射偏移。PRISM通过几何校正和静态投影矩阵实现适应，与基于梯度的方法相比，推理速度显著提高。该框架还引入了置信度感知回归（CAR）来解决复音陷阱（polyphonic trap），这是子空间缩胀中的一种失效模式，进一步提高了在UrbanSound8K等数据集上的性能。
-
新的CAZO方法增强了内存高效的测试时自适应
研究人员开发了一种名为曲率感知零阶优化（CAZO）的新型零阶优化方法，用于内存高效的测试时自适应（TTA）。该方法旨在提高预训练模型在新数据集上的性能，而无需反向传播，使其适用于设备端应用。CAZO利用了在自适应过程中损失函数中持续存在的低秩Hessian结构这一观察结果，来构建协方差矩阵以实现更有效的梯度估计。实验表明，CAZO在准确性和内存效率方面优于现有的TTA方法。
-
新的TTA框架增强视频超分辨率和质量评估
本文介绍了一个新颖的测试时自适应（TTA）框架，旨在增强在各种未知真实世界条件下的视频超分辨率（VSR）和感知质量评估。该研究解决了现有VSR方法在不同设备、编解码器和网络环境中泛化能力的局限性。主要贡献包括：一种基于TTA的无参考视频质量评估方法，用于指导VSR；一种专注于文本清晰度的屏幕内容超分辨率Transformer架构；以及一种区域感知的TTA策略，用于在无真实值的情况下进行选择性优化。
-
病理学模型中的测试时适应会破坏解释的稳定性
一项关于计算病理学中测试时适应（TTA）的新基准研究表明，虽然 TTA 方法提高了模型的准确性，但它们会显著改变模型的解释。研究人员发现，冻结骨干的 TTA 方法对解释的漂移影响最小，而 CoTTA 和 RoTTA 等持续方法则导致最大的变化。研究还强调，与 transformer 和基础模型相比，卷积网络对解释漂移更敏感，并且解释稳定性与适应质量的关联性很弱，这可能导致临床应用中的静默故障。
-
AI 改进手术点云配准的测试时域自适应
研究人员已将测试时域自适应 (TTA) 方法应用于腹腔镜手术中的三维点云配准。现有的 TTA 方法通常依赖于基于分类的目标，不适用于配准任务，因为在配准任务中无法获得真实的变换。该研究分析并修改了模型、归一化和输入自适应系列中的 TTA 方法，以解决术前和术中点云之间的非对称域偏移。输入自适应被证明是最有前途的方法，在不同数据集上均实现了低推理延迟和一致的误差降低。
-
新框架在无需模型更新的情况下增强了视觉语言模型医学图像分割能力
研究人员推出了一种名为记忆支持协同适应（MSSA）的新框架，旨在利用视觉语言模型（VLMs）改进医学图像分割，而无需更新模型参数。这种无需训练的方法通过从可靠的图像-文本预测中构建在线记忆，解决了将VLMs应用于医学成像的挑战。MSSA利用这些预测作为语义先验，并将其与跨图像结构对齐相结合，以实现鲁棒的适应性，其性能优于现有的微调方法。
-
探索零样本 CT 视觉语言模型的测试时适应
研究人员调查了测试时适应（TTA）对于零样本 3D CT 视觉语言模型（VLMs）的有效性。他们的分析表明，TTA 的效用是有条件的，需要体积输入保持编码器深度结构，并且基础表示能够迁移到目标队列。他们引入了 CARVE（基数感知保留视图熵），一种专为此特定场景设计的新型 TTA 方法，该方法通过内存高效的多视图适应过程来估计标签基数并保留共现异常。
-
新的TTA方法使用ZOO和模型合并技术，适用于资源受限设备
研究人员开发了一种新的测试时域自适应（TTA）方法，以解决边缘设备的资源限制问题。通过将零阶优化（ZOO）与模型合并集成到跨设备协同TTA框架中，他们的方法绕过了计算密集型反向传播的需求。该方法专为混合了资源丰富和资源受限设备的系统设计，允许在资源受限设备上仅通过前向传播进行模型更新。该技术还包含一种预处理策略，用于修剪非影响性权重并减少模型间的冗余，从而增强ZOO与模型合并之间的协同作用。
-
新框架统一了用于测试时提示调优的自集成方法
研究人员推出了一种名为USE的统一自集成框架，旨在增强像CLIP这样的视觉语言模型在测试时的适应性。该框架将测试时提示调优解释为从自生成的伪标签中学习，确保优化和推理阶段之间的一致性。通过自适应地强调测试图像而非其增强视图，USE可以获得更可靠的伪标签，并在各种数据集上展现出优于现有方法的性能。此外，一种简化的自集成策略SE，可以作为一种轻量级的、无需优化的测试时适应技术。
-
TopoTTA框架整合拓扑数据分析以进行异常分割
研究人员开发了TopoTTA，一个将拓扑数据分析整合到测试时自适应以进行异常分割的新框架。该方法使用持久同调来强制执行几何和结构一致性，导出拓扑伪标签，在不重新训练骨干模型的情况下指导分类器。TopoTTA通过保持连通性并跨2D和3D模态进行泛化，提高了分割质量，在标准基准测试中平均F1得分提高了15%，尤其是在具有复杂几何变化的异常方面。
-
新方法增强AI模型适应性，提高其在对抗性攻击和数据漂移下的鲁棒性 · 追踪6个来源
研究人员开发了新的方法来提高机器学习模型在测试时适应（TTA）的鲁棒性，尤其是在对抗性攻击和不断变化的数据分布场景下。一种名为SAFER的方法，利用随机增强和可靠性引导池来增强弹性，而无需源数据。另一个框架DO-ALL采用数据集蒸馏来创建用于稳定长期适应的合成锚点，通过避免保留原始源数据来解决隐私问题。此外，还提出了一个基于状态空间模型的概率框架用于在线TTA，以表征参数学习和演化。最后，双分布估计（DDE）提供了一种无需训练的方法，…
-
新框架利用蒸馏的多模态大语言模型增强社交智能推理
研究人员开发了一个名为MODF-SIR的新框架，该框架利用轻量级的多模态大语言模型（MLLM）进行社交智能推理。该框架通过知识蒸馏来增强训练和推理，专注于多模态社交智能数据的精确本地化。它还结合了测试时自适应（TTA）和低秩自适应（LoRA）技术，以改进实例级推理并有效处理长尾事件。
-
新理论探讨测试时自适应的可学性
研究人员开发了一个新的理论框架，用于分析机器学习模型中测试时自适应（TTA）的可学性。该框架引入了 $(\epsilon,\delta)$-恢复复杂性和 $(\epsilon,\rho)$-TTA 可学性等概念，以量化模型在没有标记数据的情况下适应不断变化的数据分布的速度。该研究推导了恢复复杂性的界限，强调了适应性和信息之间的权衡，并为 TTA 提供了统一的可学性保证。