Householder reflections
PulseAugur coverage of Householder reflections — every cluster mentioning Householder reflections across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的Householder Motion Embedding方法增强了视频生成的可控性
研究人员开发了一种名为Householder Motion Embedding (HME)的新方法,用于通过扩散模型进行视频生成时实现更精确的运动控制。HME通过一系列Householder反射将运动信号编码到噪声中,这在保持噪声的高斯结构的同时确保了视频的时间一致性。该方法提供了一种计算高效的替代现有噪声扭曲技术的方法,实现了2.7倍的速度提升,并达到或超过了最先进的性能。
-
新的GIFT方法保留VFM几何结构以改进目标检测
研究人员开发了一种名为几何不变微调(GIFT)的新方法,以提高视觉基础模型(VFMs)在目标检测任务中的泛化能力。GIFT通过学习霍尔德反射来专注于保留预训练表示的几何结构,这些表示编码了域不变语义。该方法在Cityscapes-C和Diverse Weather Dataset等基准测试中持续优于现有的最先进方法,在mPC方面取得了显著改进,而可训练参数的增加极少。
-
累积变换可改善LLM长度外推能力,但在极端情况下会下降
研究人员调查了累积变换在注意力机制中的外推能力,特别研究了用累积的、依赖数据的Householder反射替换RoPE的位置索引旋转如何影响性能。他们的发现表明,虽然这些累积变换可以改善长度外推能力,但在极端上下文长度下性能最终会下降。该研究还探讨了一种使用累积的、依赖令牌的旋转的简化变体,该变体表现出类似的行为。理论分析表明,累积的正交变换在有限步数后会导致不连贯,限制了对远距离令牌的注意力,并创建了一个有限的混合窗口。