Modal Servers
PulseAugur coverage of Modal Servers — every cluster mentioning Modal Servers across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Modal 发布 Spindle 开源训练服务器
Modal 推出了 Spindle，一个开源训练服务器，旨在兼容 Tinker API。Spindle 旨在通过允许用户在 Modal 的基础设施上运行自己的训练循环，来解决按 token 定价模型的成本和定制化限制。这一新产品是对 Modal 现有的训练后工具 Modal Dojo 和原始原语的补充，为那些希望在不管理底层硬件的情况下控制训练过程的用户提供了一个中间选择。
-
Modal 为有状态的无服务器应用程序推出粘性会话
Modal 推出了一项名为“粘性会话”的新功能，旨在增强其对有状态应用程序的无服务器计算能力。此功能可确保单个用户会话中的所有请求都路由到同一容器，这是语音转文本模型、对话代理和多人游戏等应用程序的关键要求。粘性会话建立在 Modal 现有的低延迟 Modal Servers 基础设施之上，该基础设施包括一个内部无状态代理，用于高效路由和负载均衡。新功能解决了固定路由、会话生命周期管理和基于会话的自动扩展的需求，超越了之前仅提供尽力亲…
-
新的推测解码方法提高了 LLM 推理速度和安全性
研究人员正在开发先进的推测解码技术，以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码，提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时，TAIS 对推测解码的输出进行安全性不变性筛选，发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务，提供…