loop transformers

英伟达发布Rubin Ultra GPU；GPT-6 Astra或将使用循环Transformer

英伟达预览了其Rubin Ultra GPU，该GPU每封装配备1TB高带宽内存。另外，有报道称OpenAI即将推出的GPT-6 Astra模型将采用循环Transformer，使其能够通过多次处理层而不是增加参数数量来增加计算深度。这种架构转变表明领先的AI实验室在模型扩展方法上可能发生变化，重点将放在计算效率而非模型规模上。