int8convrot

Klein 9B 模型转换为 int8convrot 将图像生成时间减半

一位 Reddit 用户分享了一个命令行过程，使用 silveroxide 的 convert_to_quant 工具将 Klein 9B 模型从 bfloat16 格式转换为 int8convrot 格式。转换带来了显著的速度提升，图像生成时间从每张 8.005 秒降至每张 3.95 秒，减少了 50% 以上。该过程涉及保存量化元数据和处理特定数量的权重，最终在转换后的文件中产生不同的张量计数。