实体
RedHatAI
RedHatAI
PulseAugur coverage of RedHatAI — every cluster mentioning RedHatAI across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
指南详述了为Llama 3.1等LLM提供服务所需的VRAM计算方法
一份技术指南解释了如何计算服务大型语言模型（LLM）所需的视频内存（VRAM）。计算方法包括将模型的权重和KV缓存大小相加，然后考虑服务引擎的开销。该帖子详细介绍了如何从模型的配置文件和检查点大小中推导出这些值，考虑了FP16、FP8和INT4等不同的精度级别，并为Llama 3.1 8B和Llama 3.3 70B等模型提供了具体示例。
-
FP8量化成本节省因模型输出问题而产生误导
一位开发者发现，在AMD MI300X GPU上使用vLLM进行FP8量化，特别是针对Qwen2.5模型，导致GPU成本显著降低了47%。然而，这种成本节省具有误导性，因为模型开始输出重复的垃圾标记，而不是有意义的响应。在使用预量化的FP8模型时，成本节省更为适度（约33%），但模型的输出质量保持不变。开发者建议在应用量化后，检查输出长度和在temperature为0下的几个固定提示，以确保模型完整性，而不是仅仅依赖每token成本指标。
-
使用 vLLM 和 LMCache 验证 GLM-5.3-Flash 缓存恢复
研究人员开发了一种方法来验证 GLM-5.3-Flash 语言模型的缓存恢复，解决了混合状态恢复期间可能出现的 But inconsistencies。所提出的解决方案涉及严格前缀查找和数值比较，在串行工作负载中将生成一致性从 34/36 提高到 36/36。与冷重新计算相比，这种集成修复技术还展示了性能提升，首次令牌时间最多减少 64%，总请求时间最多减少 7.0%。