Qwen2.5-7B-1M
PulseAugur coverage of Qwen2.5-7B-1M — every cluster mentioning Qwen2.5-7B-1M across labs, papers, and developer communities, ranked by signal.
-
新研究致力于 LLM KV 缓存优化以实现高效推理 · 已追踪 10 个来源
多篇研究论文探讨了优化大型语言模型 (LLM) 的键值 (KV) 缓存的新技术，以提高推理效率并降低内存开销。这些方法包括面向 AI 加速器的动态缓存编排、NVMe SSD 外部 KV 缓存的性能表征，以及使用互补多样性指标的几何感知驱逐策略。其他方法侧重于针对 KV 缓存连接对模型进行微调，适应提示特定约束的自适应压缩框架，以及在不同上下文和模型检查点之间重用 KV 缓存的方法。一些研究还探讨了用于量化 KV 缓存的注意力加权值投影…
-
新研究探索大语言模型效率和推理能力的提升
多篇研究论文探讨了提高大语言模型（LLMs）效率和可靠性的方法。Hugging Face 的 LFM2.5-DSpark 通过使用推测性解码技术，展示了高达 3.2 倍的推理速度提升。OpWeave 和 LayerRoute 分别提出了用于跨异构硬件优化大语言模型服务和实现自适应层跳过的框架。其他研究则关注大语言模型的推理和校准，其中 ZebraArena 为工具增强型大语言模型提供了诊断环境，而 Efficiency Halluci…
-
新方法将LLM KV缓存卸载到RAM，以实现长上下文和持久内存
一种新技术已被开发出来，用于解决本地大型语言模型在处理长上下文和跨重启保持状态时的内存限制。该方法涉及将模型存储计算出的内部状态的KV缓存从VRAM卸载到CPU RAM和磁盘。当需要时，使用VRAM中的一个小索引来检索相关的KV块，从而使模型能够访问长达800,000个token的上下文，同时保持VRAM使用量稳定。该系统还允许模型在进程重启后从其存储的状态恢复，有效地充当持久内存。
-
WSL2 vllm 在 6GB 显存中无法运行 Qwen2.5-7B-1M，Windows transformers 成功
一位开发者在尝试于配备 6GB 显存的消费级笔记本电脑上运行 Qwen2.5-7B-1M 模型时，遇到了意料之外的内存限制。虽然 Windows 的 "transformers" 库可以通过溢出到系统内存来处理 4k 上下文，但使用 "vllm" 的 WSL2 环境却无法加载模型，这表明是 Windows 操作系统的内存管理促成了这一点，而不是推理引擎本身。开发者还发现，GitHub Models 等平台上的免费套餐在模型可用性和上下…