MONOLITHIC 3D

新兴 M3D 内存技术有望为 LLM 服务带来显著节能

研究人员开发了 LLMET，一个跨层仿真框架，用于评估新兴的单片 3D (M3D) 内存技术对大型语言模型 (LLM) 服务能效的影响。研究表明，显著增加片上缓存容量可将 LLM 预填充阶段的能耗降低高达 44%。例如，在双 NVIDIA A100 GPU 设置上将 L2 缓存从 40MB 扩展到 1GB，为 Llama3.1-70B 模型带来了显著的节能效果。