实体
Qwen 1.5B
Qwen 1.5B
PulseAugur coverage of Qwen 1.5B — every cluster mentioning Qwen 1.5B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究探索非线性缩放和几何优化以实现高效LLM训练
两篇新研究论文探讨了更高效训练大型语言模型（LLM）的方法。第一篇论文《关于LLM训练学习率缩放的非线性研究》调查了当前学习率外推法的局限性，并提出最优学习率在更大规模下呈现向上曲率，这可以通过关注有效学习率或数据外推来缓解。第二篇论文《面向高效LLM训练的几何原理随机优化》引入了新算法GrassWalk和GrassJump，它们利用梯度子空间的几何特性来提高优化效率，在LLaMA和Qwen等模型上取得了最先进的成果。
-
Together AI Cloud 通过 TorchForge 和工具集成增强 RL 管道
Together AI 正在增强其云平台以支持高级强化学习 (RL) 管道，集成 TorchForge 和 Monarch 进行分布式训练。该平台现在提供低延迟 GPU 通信和异构调度，用于混合 CPU/GPU 工作负载，这对于复杂的 RL 任务至关重要。与 Together CodeSandbox 和 Code Interpreter 的新集成允许 RL 代理与工具交互并执行代码，从而将它们的能力扩展到传统的游戏场景之外。