实体
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2.5-7B-Instruct
PulseAugur coverage of Qwen/Qwen2.5-7B-Instruct — every cluster mentioning Qwen/Qwen2.5-7B-Instruct across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
滑动窗口注意力实现大幅降低LLM推理内存使用量
一位开发者为Hugging Face因果LLM创建了一个开源的滑动窗口注意力（SWA）实现，旨在显著减少推理过程中KV缓存的内存使用量。该实现可在GitHub上找到，使用了注意力汇聚点和一个有界的近期token窗口，将长上下文的内存从几GB大幅降低到几MB。虽然在减少内存和保持解码速度方面效果显著，但开发者指出，在需要活动窗口之外很远信息的任务中存在权衡，并正在寻求社区关于模型兼容性和潜在故障模式的反馈。
-
SGLang 为大语言模型提供结构化生成和高效调度
SGLang 是一个面向大型语言和多模态模型的高性能服务框架，专注于结构化生成和高效调度。它通过提供批处理、内存管理和 OpenAI 兼容的端点，在 vLLM 和 Hugging Face Transformers 等标准解决方案之上具有优势。然而，其性能高度依赖于特定的硬件和工作负载特性，需要仔细的基准测试才能实现最佳部署。
-
使用 vLLM 通过兼容 OpenAI 的 API 在 Kubernetes 上部署 LLM
本指南详细介绍了如何在 Kubernetes 上部署 LLM，重点是将其公开为兼容 OpenAI 的 API。它涵盖了设置 GPU 节点、为 Hugging Face 令牌创建 Kubernetes 密钥以及使用 vLLM 作为模型服务引擎。本教程使用较小的 Qwen2.5 模型进行实际演示，重点在于完成一个可用的 API 请求过程，而不是性能基准测试。