Rose Optimizer
PulseAugur coverage of Rose Optimizer — every cluster mentioning Rose Optimizer across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Perplexity 详解 GPU 嵌入栈，实现高效 AI 搜索
Perplexity 详细介绍了其 GPU 嵌入栈，重点关注服务其 pplx-embed 模型的基础设施。该公司工程团队强调，通过重用其 LLM 栈中的内核，他们优化了批量和在线嵌入工作负载。关键组件包括用于请求处理的 Ivy、用于调度的 Tulip 和用于模型推理的 ROSE，所有这些都旨在最大限度地提高在 Hopper 和 Blackwell 等现代 GPU 硬件上的效率。
-
Perplexity 详解新的服务基础设施，以实现更快、更便宜的 AI 搜索
Perplexity 详细介绍了其新的服务基础设施，旨在提高嵌入式工作负载的延迟和吞吐量。该系统包含三个关键组件：Ivy，用于请求准备的 HTTP 网关；Tulip，一个使用 Rust 的 gRPC 推理服务器，它会批处理请求并利用 CUDA グラフ和 LazyTensors 来提高效率；以及 ROSE，模型引擎，负责处理前向传播并管理像 Ragged Attention 这样的注意力后端，用于嵌入式。这种集成方法旨在与现有解决方案相…
-
新研究使用振荡神经机制模拟双语句法迁移
一篇新发表在arXiv上的论文探讨了双语造句中句法迁移的神经计算机制。研究提出，ROSE神经网络模型可以通过整合振荡神经机制来解释句法迁移，为双语理论提供实现层面的约束。该方法旨在捕捉迁移的形式属性和排序失败模式，并提出跨语言影响可能源于第二语言句子规划过程中特定的振荡失败模式。
-
新的 LLM 工具增强硬件设计和数据生成
研究人员正在开发新的方法来改进大型语言模型（LLM）在硬件设计中的应用，特别是用于生成寄存器传输级（RTL）代码。一种名为 LLM4RTL 的方法采用工具辅助架构和精炼数据集，以更小的 LLM 实现与 GPT-4o 相媲美的性能。另一项开发 VHDLSuite 引入了一个用于 VHDL 生成的基准和评估框架，突出了将 LLM 应用于这种特定硬件描述语言所面临的挑战。此外，还提出了一种名为 RoSE 的新代理指标，用于在不需要人工测试集…
-
新框架致力于学习零和马尔可夫博弈中的纳什均衡
研究人员开发了一个名为正则化离线序贯均衡（ROSE）的新理论框架，用于学习离线双人零和马尔可夫博弈中的纳什均衡。该框架利用KL正则化来稳定学习并确保收敛，改进了现有通常依赖显式悲观主义的方法。还提出了一个实用的算法，序贯离线自对弈镜像下降（SOS-MD），该算法实现了快速收敛速度和消失的优化误差。
-
新的 Rose 优化器提供低显存、快速收敛和优异结果
一款名为 Rose 的新 PyTorch 优化器已根据 Apache 2.0 许可发布。Rose 由 Matthew K. 开发，设计为无状态，与 AdamW 等优化器相比，显存占用显著降低，内存开销与普通 SGD 相当。早期基准测试表明，它能实现快速收敛和出色的泛化能力，在某些任务上甚至优于 AdamW，并在 OpenAI 的参数-高尔夫挑战赛中展现出竞争力。