Blockway 发布了 Agens Volundr 32B v1,这是其大型语言模型的更新版本,解决了用户对先前预览版的反馈。主要改进包括显著减少了编码任务中的重复循环,并增强了推理能力,允许更长的上下文窗口。该模型现在支持会话续接,以便更快地进行后续交互,并针对使用新的 Agens Engine 在消费者 GPU 上运行进行了优化,该引擎已根据 MIT 许可证开源。该引擎能够在 16 GB 内存预算内处理扩展上下文,例如一个 219K token 的文档,尽管与更高精度版本相比,质量略有折衷。 AI
影响 使在消费者硬件上运行大型上下文模型成为可能,可能降低本地 AI 开发和实验的门槛。
排序理由 这是一个特定 LLM 版本的发布,具有性能改进和新的推理引擎,面向本地部署。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →