SparseLoCo

AI计算验证策略评估：推理与训练的对比

本次分析评估了Plan A关于验证AI模型推理中计算使用情况的策略，重点关注防止未经授权训练的方法。作者考察了互连限制、内存擦除和零知识证明（ZKPs），评估了它们减缓训练和增加推理开销的潜力。一项关键提议是移除后端网络，并对前端网络施加带宽限制，以阻碍训练过程中的梯度共享，同时力求对推理操作的影响最小。评估还考虑了低通信训练算法等对抗性攻击，并提出了关于这些攻击在最前沿规模下的有效性及其对视频生成等任务影响的公开问题。