实体 OpenBonsai

OpenBonsai

PulseAugur coverage of OpenBonsai — every cluster mentioning OpenBonsai across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_329547 · Oct 29 · 08:13

OpenBonsai 框架将大型 AI 模型压缩到约 2 GB 的三元 GGUF 文件

一个名为 OpenBonsai 的新开源框架已被开发出来，用于将大型 BF16 语言模型压缩成显著更小的三元 GGUF 文件，将模型大小减小到大约 2 GB。该框架利用了有符号 Hadamard 旋转、顺序 GPTQ 和自生成推理轨迹校准等技术，实现了 Qwen3.5-9B 等模型的显著尺寸减小。虽然压缩过程在高端 GPU 上大约需要 5 小时，但它使得 AI 功能的本地部署更加可行，尽管目前的性能指标显示与原始模型和 Prism 的…