Moon et al.

MOAI 框架通过优化的同态加密 (HE) 提升安全 Transformer 推理性能

研究人员开发了 MOAI，一个旨在通过同态加密 (HE) 提高非交互式安全 Transformer 推理效率的新型框架。MOAI 通过优化评估流程、采用无旋转的 Softmax 和 LayerNorm 算法以及减少矩阵乘法中的 HE 旋转来解决 HE 的计算开销问题。与现有方法相比，这种方法显著缩短了评估时间，并在 BERT-base、Powerformer 和 LLaMA-3-8B 等模型上展示了潜在应用。