Synchopate

DeepSeek 284B 模型通过 llama-modchip 在 64GB CPU 上运行

Synchopate 发布了 llama-modchip v2.4.0，这是一个无需 GPU 即可在 64GB CPU 系统上运行 284B DeepSeek-V4-Flash 模型的工具。这是通过自定义张量类型和修补的 llama.cpp 分支实现的，允许模型及其 KV 缓存适应标准的台式机 RAM。虽然这代表了本地推理的重大进步，特别是对于离线编码代理和长上下文任务，但它并未解决 Windows 音频处理在实时应用中固有的延迟瓶颈。