Hy3 295B

1 位 Hy3 295B 模型在本地实现 2.2 倍加速，无质量损失

一个团队已成功将 Tencent 的 Hy3 295B 模型量化为 1 位版本，生成的 GGUF 文件足够小，可以在单台 4-GPU 设置上运行。此次本地 1 位量化实现了约每秒 83 个 token 的速度，比云 API 版本约每秒 37 个 token 快 2.2 倍。尽管速度显著提升，但 1 位量化模型在质量上没有损失，在生成自玩游戏等复杂任务中产生了可比的结果。