Google DeepMind推出了T5Gemma，这是一个新的编码器-解码器大型语言模型系列，源自其现有的Gemma 2模型。这种改编技术允许灵活组合编码器和解码器的大小，从而在模型质量和推理效率之间取得更好的平衡。实验表明，T5Gemma模型在各种基准测试中的表现与同类仅解码器的Gemma模型相当或更优，在数学推理和阅读理解等任务中提供了显著的速度和准确性优势。 AI
排序理由 这是来自主要AI实验室的研究论文发布，介绍了一种新的模型架构改编技术。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
Introducing T5Gemma, a new collection of encoder-decoder LLMs.
Transformers process tokens in parallel but are temporally shallow: at position $t$, each layer attends to key-value pairs computed based on the previous layer, yielding a depth capped by the number of layers. Recurrent models offer unbounded temporal depth but suffer from optimi…