实体
HyperQwen
HyperQwen
PulseAugur coverage of HyperQwen — every cluster mentioning HyperQwen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
8 个 AI 智能体在双 3090 上并发处理 250K 上下文
一位开发者创建了一个系统，允许八个 AI 智能体并发处理每个高达 250,000 个 token 的上下文，利用两块 NVIDIA 3090 GPU。这种方法将全部上下文保留在系统 RAM 中，并且每步仅加载约 1% 的相关 token，显著降低了 PCIe 带宽的使用。该系统总共实现了超过 500 token/秒的速度，即使在长时间对话中，单个智能体也能保持高性能。
-
HyperQwen 堆栈在 RTX 3090 上达到 118 tok/s，但高性能模式崩溃
一位开发者在一块 RTX 3090 上测试了 HyperQwen 堆栈，在聊天时达到了 118 token/秒，在逐字引用上下文时达到了 237 token/秒。与在相同模型和硬件上使用 llama.cpp 达到的 42 token/秒基线相比，这一性能显著提升。然而，声称高达 381 token/秒的更高性能模式在尝试处理大上下文大小时崩溃了，这表明了推测解码实现存在不稳定性。
-
开发者寻求算力以优化 Qwen 模型推理速度
一位开发者正在寻求帮助，以优化 Qwen 模型在本地硬件上的推理速度，特别是针对拥有 4090 和 5090 等高端 GPU 的用户。该项目现命名为 HyperQwen，旨在最大化即将推出的 Qwen 模型的解码和预填充速度，而开发者目前仅拥有 3090 用于测试。