实体
Qwen2.5-7B-1M
Qwen2.5-7B-1M
PulseAugur coverage of Qwen2.5-7B-1M — every cluster mentioning Qwen2.5-7B-1M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法将LLM KV缓存卸载到RAM，以实现长上下文和持久内存
一种新技术已被开发出来，用于解决本地大型语言模型在处理长上下文和跨重启保持状态时的内存限制。该方法涉及将模型存储计算出的内部状态的KV缓存从VRAM卸载到CPU RAM和磁盘。当需要时，使用VRAM中的一个小索引来检索相关的KV块，从而使模型能够访问长达800,000个token的上下文，同时保持VRAM使用量稳定。该系统还允许模型在进程重启后从其存储的状态恢复，有效地充当持久内存。
-
WSL2 vllm 在 6GB 显存中无法运行 Qwen2.5-7B-1M，Windows transformers 成功
一位开发者在尝试于配备 6GB 显存的消费级笔记本电脑上运行 Qwen2.5-7B-1M 模型时，遇到了意料之外的内存限制。虽然 Windows 的 "transformers" 库可以通过溢出到系统内存来处理 4k 上下文，但使用 "vllm" 的 WSL2 环境却无法加载模型，这表明是 Windows 操作系统的内存管理促成了这一点，而不是推理引擎本身。开发者还发现，GitHub Models 等平台上的免费套餐在模型可用性和上下…