Zirui Wu

Clover-35B-A3B 扩散模型集成到 llama.cpp 以供本地使用

Clover-35B-A3B-Preview 模型，一个扩散语言模型，已被集成到 llama.cpp 中，这是一个流行的本地运行模型的工具。在 RTX 4090 上的初步测试显示速度为每秒 202-211 个 token，完整的上下文窗口需要近 22 GB 内存。模型的文件格式遇到了挑战，需要一个补丁来正确加载和处理权重，这些权重的结构与传统的自回归模型不同。