实体
mill
mill
PulseAugur coverage of mill — every cluster mentioning mill across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
AI代理在服务、测量和输入方面涌现成本压缩技术
AI代理生态系统正在快速开发成本压缩技术，在一周内出现了三个不同的领域。KVarN，由华为开发的vLLM推理服务器的新后端，专注于通过优化KV缓存量化来实现模型服务压缩。Cost.dev已推出功能，使AI代理更具成本意识，允许开发人员在实施优化之前衡量和了解其支出。此外，处理输入压缩的chopratejas/headroom存储库的采用速度显著加快，表明人们对减少AI运行时账单的兴趣日益浓厚。
-
开发者在 llama.cpp 分支中实现 KVarN KV 缓存压缩
一位开发者在 llama.cpp 项目的一个分支 BeeLlama.cpp 中实现了华为的 KVarN KV 缓存量化技术。该实现允许用户将 KV 缓存压缩 3-5 倍，旨在减少 VRAM 使用量，同时不显著影响模型性能。初步基准测试表明，KVarN 在仅使用 3.5 位的情况下提供了与 4 位量化相当的质量，但速度提升仍在开发中。
-
华为 KVarN 增强 vLLM KV 缓存以获得更大的 AI 上下文
华为发布了 KVarN，这是 vLLM 框架的一个新后端，可增强 KV 缓存量化。这项创新旨在显著增加上下文窗口大小，有消息称可提高 35 倍。KVarN 旨在优化 AI 代理的性能，尤其是在 GitHub 等复杂环境中。