NVIDIA 的 NeMo 团队已将 vLLM 集成到其新的以代理为先的 RL 框架 Molt 中作为发布引擎。另外，腾讯发布了其拥有 295B 参数的旗舰模型 Hy3 的 1 位和 4 位量化版本。 AI
影响 模型量化和框架集成的更新可以提高 AI 开发和部署的效率和可访问性。
排序理由 该集群包含新模型版本和框架集成的公告，属于研究和基础设施更新类别。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
RT @vllm_project: Ich freue mich, vLLM als Rollout-Engine in Molt zu sehen, dem neuen agentic-first RL-Framework vom @NVIDIA NeMo-Team. 🎉 vLLM (über Ray) übernimmt hier das Rollout: schnelles asynchrones Serving bis zur 1T-Klasse MoE-Skala, einfach einzubinden. Das ermöglicht es …
RT @TencentHunyuan: Wir haben gerade die 1-Bit- und 4-Bit-Version von Hy3 veröffentlicht, ein Flaggschiff-Modell mit 295B Parametern, das auf einer einzelnen GPU betrieben werden kann. 👌 Führe Hy3 mit llama.cpp aus, aktiviere MTP und erlebe leistungsstarke Intelligenz auf deutlic…