Data Influence Oriented Tree Search
PulseAugur coverage of Data Influence Oriented Tree Search — every cluster mentioning Data Influence Oriented Tree Search across labs, papers, and developer communities, ranked by signal.
-
SCOPE框架提升扩散Transformer在视频注意力方面的效率
研究人员开发了SCOPE，一个新颖的无需训练的稀疏注意力框架，旨在提高扩散Transformer（DiTs）在视频处理中的效率。SCOPE通过采用子空间聚类和在线每头Top-K估计方法来解决自注意力的二次成本问题。这种方法允许更具适应性和细粒度的注意力键选择，在保真度和延迟方面均优于现有方法。在测试中，SCOPE在HunyuanVideo数据集上实现了高达1.99倍的速度提升。
-
新的BAG策略通过自适应缓存加速Diffusion Transformer
研究人员开发了BAG（Budget-Aware Gating），一种旨在加速Diffusion Transformer（DiTs）的新型缓存策略。与之前缺乏预算感知或实例适应性的方法不同，BAG使用轻量级门控网络动态决定是重用缓存的特征还是执行完整计算。该方法通过离线到在线调度蒸馏进行训练，在FLUX.1-dev和Wan2.1数据集上，在各种加速级别和分辨率下，始终优于现有的缓存技术。
-
扩散 Transformer 研究揭示文本模板标记的隐藏作用
研究人员开发了一种新的文本到图像扩散 Transformer (DiTs) 可解释性框架，揭示了结构化文本模板标记的关键作用。这些通常被忽视的标记充当隐式语义寄存器，在图像生成过程中对物体身份进行因果维持。研究发现，提示语义在被这些模板标记读取之前，会间接注入到图像潜在空间中。这一理解催生了一种无需训练的剪枝规则，可以在对生成质量影响极小的情况下，将注意力计算量（FLOPs）降低 20%。
-
扩散 Transformer 通过注意力头分析增强可控运动迁移
研究人员开发了一种新颖的框架，用于控制扩散 Transformer (DiTs) 中的运动迁移，这是一种用于高级视频生成的模型类型。通过在注意力头级别分析 DiTs，他们确定了负责运动和空间结构的特定头。这一见解催生了一种无需参数的方法，可以优化运动线索并保留结构，从而实现更准确、更具可解释性的视频生成运动迁移。
-
新模型改进LLM推理评估和内部状态控制
研究人员开发了一个新框架，旨在最大限度地减少大型语言模型（LLM）激活引导中的“附带损害”，以在不负面影响无关任务性能的情况下控制模型行为。另一篇论文介绍了一种模式感知累积过程奖励模型（SCPRM），通过更准确、风险更敏感地评估推理路径来改进知识图谱问答。此外，一种名为面向数据影响的树搜索（DITS）的新方法，通过识别对模型改进影响最大的数据来增强多智能体系统的训练，其性能优于仅依赖Q值的传统方法。