Pablo De Oliveira Castro

随机舍入可改善低精度Transformer推理

研究人员调查了在低精度Transformer推理中使用随机舍入（SR）与就近舍入（RN）的对比，发现最佳方法取决于模型中的特定层。他们开发了一种可变精度随机舍入（VPSR）算法，以便在任意精度下进行实验。他们的分析显示，SR的误差包络比RN增长得慢，尤其是在多层感知机（MLP）中，而RN更适合语言模型头。通过将SR策略性地应用于MLP，将RN应用于头部，他们在DistilGPT-2上实现了接近全精度的困惑度。