Ulysses
PulseAugur coverage of Ulysses — every cluster mentioning Ulysses across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的X-Stage流水线优化提升DiT推理速度
研究人员发现了一个新的流水线阶段，称为X-Stage，可以优化扩散Transformer（DiT）推理过程中的通信-计算重叠。该阶段专注于通信启动后但尚未完全可见的期间，从而更好地预测和管理发送方背压。通过对这个X-Stage进行建模，研究人员重新设计了DeepGEMM MegaMoE和Ulysses序列并行注意力模型的通信-计算融合内核，与现有基线相比实现了显著的加速。
-
Wan-Streamer v0.2 提高了视听交互的分辨率，同时保持了低延迟
研究人员发布了 Wan-Streamer v0.2，这是一个更新的端到端视听交互模型，在保持低延迟的同时显著提高了输出分辨率。新版本将交互流分辨率从 192x336 提高到 640x368，从而在实时对话中提供更详细的视觉反馈。这种改进是通过优化的思考者-执行者架构实现的，该架构利用多 GPU 并行处理来高效生成潜在表示，而不会影响大约 200 毫秒的模型端延迟。
-
新的“进程 Sidecar”方法允许精确撤销语言模型的记忆
研究人员推出了一种名为“进程 Sidecar”的新颖方法，用于在安全训练后撤销语言模型中的学习信息。该技术旨在精确删除特定记忆，而不会像简单的减法方法那样负面影响模型的安全能力。该方法在新的 arXiv 论文中进行了详细介绍，使用了双系数编辑家族，并与标准任务算术相比，在多个模型上显示出改进的拒绝关闭率。
-
Hugging Face 发布 LeRobot、Ulysses 和 RL 训练的 AI 更新
Hugging Face 发布了多个 AI 项目的更新。LeRobot v0.5.0 引入了全维度扩展，而 Ulysses 实现了序列并行，用于训练具有一百万 token 上下文窗口的模型。此外，一项关于异步强化学习训练景观的研究提供了来自 16 个开源库的见解。