swiftlet

开发者预测 Mac mini 上大型 MoE 模型磁盘流式传输速度

一位开发者创建了一个预测模型，用于估算大型混合专家（MoE）语言模型的磁盘流式传输速度，并特别测试了一个名为 Inkling-Small 的 276B 参数模型是否能在 24GB 的 Mac mini 上运行。该模型侧重于每个 token 的活跃专家数量，而非总参数量，并将磁盘 I/O 速度视为主要瓶颈。实施了两个验证门：一个用于精确匹配已知模型容器的磁盘大小，另一个用于预测不同转换模型的尺寸，后者由于层计数错误需要修正。