Ulysses
PulseAugur coverage of Ulysses — every cluster mentioning Ulysses across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Wave Forcing 实现高效流式视频生成
研究人员推出了一种名为 Wave Forcing (WF) 的新颖框架，该框架专为高效、高质量的连续长视频生成而设计。该方法共同设计了生成、训练和执行过程，以实现具有一致外观和自然运动的流式视频输出。Wave Forcing 采用波前调度方法，其中后面的视频块在前面的视频块完全完成之前开始处理，并利用中间状态作为因果上下文。与现有方法相比，该系统在视频质量指标和生成吞吐量方面均显示出显著改进，实现了大幅加速。
-
新的逐层重打包方法优化了混合注意力模型的训练
研究人员开发了一种名为逐层重打包的新技术，以优化混合注意力模型的训练。该方法通过动态地将样本重新打包成更小的组，解决了全注意力层和稀疏注意力层之间冲突的并行性要求。这种方法避免了额外的重新分配过程，从而减少了端到端训练时间并提高了模型FLOPs的利用率。
-
Luma Labs 详解多模态序列处理创新
Luma Labs 发布了其在高效多模态序列处理方面（尤其是在打包序列方面）的进展细节。他们开发了提高性能和降低计算开销的技术，例如稀疏全连接获取机制和保持 FP32 精度的在线 FlashAttention-4 内核。这些创新实现了更快的处理速度和更好的扩展性，他们的新方法在大多数测试场景中均优于 FlashMask 和 Ulysses 等现有方法。
-
诺兰的奥德修斯电影反映了西方精英的生存焦虑
克里斯托弗·诺兰的电影《奥德修斯》被解读为对西方精英生存焦虑及其历史权力追求的现代反映。电影中对荷马史诗英雄奥德修斯的描绘，一个毫不悔改的无情野心家和自我实现者，与但丁在《神曲·地狱篇》中将奥德修斯描绘成受惩罚的欺骗者形成了对比。这种分析表明，以奥德修斯为代表的西方心理，正在与权力、征服的遗产以及与道德和自我意识的复杂关系作斗争。
-
LiveAnimate 实现实时、稳定的长篇幅人体动画
研究人员开发了 LiveAnimate，一个能够实时生成稳定、长篇幅人体动画的新颖系统。该系统利用一个拥有140亿参数的视频扩散 Transformer，并通过 Reference-Anchored Teacher-Forcing Adaptation 和 Block-wise Self-Forcing Distillation 等专门的训练技术进行增强，以实现三步采样预算。为了在不增加计算负载的情况下保持长时间的视觉一致性，Live…
-
Mesh-Attention 通过改进数据局部性来提升大语言模型的可扩展性 · arXiv 论文
研究人员开发了 Mesh-Attention，这是一种新颖的通信高效分布式注意力机制，旨在通过改进数据局部性来提升大语言模型（LLMs）在长上下文中的可扩展性。与牺牲 KV 局部性的 Ring-Attention 等先前方法不同，Mesh-Attention 为 GPU 分配一个二维块以平衡 Q 和 KV 局部性，从而实现渐近更低的通信复杂度。在多达 256 个 GPU 上对 100 万个 token 的序列进行的实验表明，与现有方法…
-
新的X-Stage流水线优化提升DiT推理速度
研究人员发现了一个新的流水线阶段，称为X-Stage，可以优化扩散Transformer（DiT）推理过程中的通信-计算重叠。该阶段专注于通信启动后但尚未完全可见的期间，从而更好地预测和管理发送方背压。通过对这个X-Stage进行建模，研究人员重新设计了DeepGEMM MegaMoE和Ulysses序列并行注意力模型的通信-计算融合内核，与现有基线相比实现了显著的加速。
-
Wan-Streamer v0.2 提高了视听交互的分辨率，同时保持了低延迟
研究人员发布了 Wan-Streamer v0.2，这是一个更新的端到端视听交互模型，在保持低延迟的同时显著提高了输出分辨率。新版本将交互流分辨率从 192x336 提高到 640x368，从而在实时对话中提供更详细的视觉反馈。这种改进是通过优化的思考者-执行者架构实现的，该架构利用多 GPU 并行处理来高效生成潜在表示，而不会影响大约 200 毫秒的模型端延迟。
-
新的“进程 Sidecar”方法允许精确撤销语言模型的记忆
研究人员推出了一种名为“进程 Sidecar”的新颖方法，用于在安全训练后撤销语言模型中的学习信息。该技术旨在精确删除特定记忆，而不会像简单的减法方法那样负面影响模型的安全能力。该方法在新的 arXiv 论文中进行了详细介绍，使用了双系数编辑家族，并与标准任务算术相比，在多个模型上显示出改进的拒绝关闭率。
-
Hugging Face 发布 LeRobot、Ulysses 和 RL 训练的 AI 更新
Hugging Face 在多个 AI 项目上发布了更新。LeRobot v0.5.0 在所有维度上实现了扩展，而 Ulysses 实现了序列并行化，用于训练具有一百万 token 上下文窗口的模型。此外，一项关于异步强化学习训练景观的研究提供了来自 16 个开源库的见解。