发布了新的低比特和三元AI模型并更新了性能 · 追踪到1个来源

已发布并正在追踪几款新的低比特和三元模型，包括Bonsai的1位和1.58位（三元）版本，一款27B参数模型现已在主线后端运行。llama.cpp的更新提高了这些模型的CUDA和Vulkan性能。其他值得注意的发布包括BitCPM-CANN、腾讯的Hy-MT1.5、DeepGrove的Maple-Preview、SyzygyResearch的Mach-1-Additive-35B、FermionResearch的Neutrino-8B以及Doses-AI的Pestle-27B-Ternary，其中一些模型在消费级硬件上实现了高推理速度。 AI

影响 这些低比特和三元模型为在消费级硬件上更高效地部署AI提供了潜力。

排序理由 该项目讨论了各种低比特和三元AI模型的发布和追踪，包括性能更新和新版本，这属于研究和模型发布类别。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• 1-bit models
• 2-bit models
• BitCPM-CANN
• BITNET
• Bonsai
• Hy-MT1.5
• llama.cpp
• Mach-1-Additive-35B
• Maple-Preview
• Neutrino-8B
• Pestle-27B-Ternary
• Tencent
• Ternary models

• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →