Mference

Inkling-Small 276B-A12B 模型针对低内存消费级硬件进行了优化

Inkling-Small 276B-A12B 模型（约有 120 亿活跃参数）的新转换版本已针对在内存小于 10GB 的消费级硬件上运行进行了优化。基准测试显示，该模型在生成时速度约为每秒 2.9 个 token，但长提示预填充时间被指出是一个问题。这一发展是使大型混合专家（MoE）模型在标准硬件上可访问的持续努力的一部分。