在 DGX Station GB300 上进行了一项基准测试,测量了 DeepSeek 和 General Language Model 这两个模型在 100 万 token 上下文窗口下的性能。另外,vLLM 项目发布了 v0.32.0 版本,该版本包含 814 次提交,来自 363 位贡献者,其中包括 121 位首次亮相的作者。 AI
影响 提供了关于大上下文窗口性能和热门 LLM 推理库更新的见解。
排序理由 该集群包含有关模型基准测试和软件库发布的信息。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →