Google Cloud Vertex AI Model Garden

谷歌DiffusionGemma LLM采用扩散架构实现每秒1000个token

Google DeepMind发布了DiffusionGemma，这是一款开源LLM，它利用扩散架构进行文本生成，与传统的自回归模型相比，推理速度显著提高。该模型在单个H100 GPU上每秒可处理多达1000个token，且仅需18 GB VRAM，使其能够高效地在单GPU上部署。虽然它在速度上牺牲了一些准确性，但在代码填充和实时应用等任务中表现出色，并且还支持包括图像和视频在内的多模态输入。