Maarten Grootendorst

Google的Gemma 4 12B在没有编码器的情况下处理图像和音频

Google发布了Gemma 4 12B，这是一款轻量级的多模态AI模型，专为在消费级硬件上运行而设计，仅需16GB显存即可。该模型独特之处在于它在没有传统编码器的情况下处理图像和音频，从而减少了内存使用和延迟。对于图像，它使用一个拥有3500万参数的嵌入模块将像素数据转换为LLM可用的格式，而音频则通过直接标记40毫秒的片段来处理。