实体
Qwen2.5-7B-Instruct-AWQ
Qwen2.5-7B-Instruct-AWQ
PulseAugur coverage of Qwen2.5-7B-Instruct-AWQ — every cluster mentioning Qwen2.5-7B-Instruct-AWQ across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI 模型 GPU 选型指南侧重于权重和 KV 缓存的显存
本文为站点可靠性工程师提供了一种估算托管 AI 模型所需的 GPU 内存（显存）的方法。它将显存消耗分解为模型权重、并发请求的 KV 缓存以及其他开销。该指南强调了 AWQ 等量化技术如何显著减小模型权重的内存占用，从而为 KV 缓存腾出显存，进而提高服务容量。
-
通过选择更好的信号修复 vLLM 自动扩缩容抖动问题
本文解决了 vLLM 自动扩缩容中出现的“抖动”问题，即 Pod 在运行和失败状态之间快速循环，导致成本和延迟增加。作者解释说，这个问题通常源于选择了不合适的自动扩缩容信号，而不是配置不正确。文章详细介绍了通过三个步骤来改进自动扩缩容，即从任意阈值转移到计算阈值，最终实现一个稳定的设计，该设计使用更健壮的信号来防止振荡。