Test Time Training
PulseAugur coverage of Test Time Training — every cluster mentioning Test Time Training across labs, papers, and developer communities, ranked by signal.
-
PRISM模型在序列建模中实现174倍吞吐量
研究人员开发了PRISM，这是一种新颖的序列建模架构，旨在平衡Transformer的表达能力和线性模型的效率。PRISM通过将迭代过程重构为可并行化的形式，解决了Test-Time Training等迭代方法中存在的串行依赖问题。这通过写入-遗忘解耦策略和两阶段代理架构实现，与现有的优化方法相比，吞吐量显著提高。
-
视觉Transformer线性化，通过TTT实现更快的推理速度
研究人员开发了一种方法，将预训练的视觉Transformer模型转换为线性复杂度的测试时训练（TTT）架构。该方法对齐了架构和表示属性，允许从Softmax注意力模型高效地迁移权重。通过将此方法应用于Stable Diffusion 3.5，他们创建了SD3.5-T^5，该模型在经过少量微调后，实现了相当的图像质量和显著更快的推理速度。
-
研究发现测试时训练利用AI安全护栏
arXiv上的一篇新研究论文详细介绍了测试时训练（TTT）——一种允许AI模型在推理过程中进行适应的方法——如何被利用来绕过安全护栏。研究人员证明，攻击者可以利用TTT来显著提高攻击成功率，即使是在生产API上。该研究强调，TTT引入了一个新的攻击面，并且可能由于过拟合导致成功率膨胀，提出了一个面向有效性的评估和供应商端的检测器作为初步防御措施。
-
通过测试时训练实现视觉 Transformer 的线性化
研究人员开发了一种方法，使用测试时训练（TTT）将预训练的 Softmax 注意力模型适配到线性复杂度架构。该方法通过关注架构和表示的对齐来解决不同注意力机制之间的表示差距。该技术应用于 Stable Diffusion 3.5，产生了一个新模型 SD3.5-T$^5$，该模型在仅一小时的微调后，以显著更快的推理速度实现了可比的图像质量。