实体
Loop transformer
Loop transformer
PulseAugur coverage of Loop transformer — every cluster mentioning Loop transformer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
智谱AI公布Loop Transformer研究及10万加速器推理进展
中国AI公司智谱AI披露了其在研究和基础设施方面的重大进展。该公司据称正在探索用于增强模型能力的“Loop Transformer”，OpenAI的Astra模型可能已在使用该技术。智谱AI还在运行超过10万个中国加速器的推理方面取得了重大里程碑，据称这使基础设施优化所需的时间缩短了一半。
-
循环Transformer架构教程发布
发布了关于循环Transformer架构的教程，详细介绍了一种据传是Mythos模型重大改进的技术。该视频时长约19分钟，探讨了这种架构改进的细节。
-
研究：可寻址内存对 AI 编辑传播至关重要，而不仅仅是学习
一篇新研究论文探讨了神经网络如何学习和保留信息，区分了“领悟”（grokking）和“编辑传播”（edit propagation）。研究发现，无论是通过循环递归还是内存重读，重复共享访问足以使模型实现“领悟”——一种跨越分布外障碍的学习形式。然而，在模型知识中传播事实性编辑的能力，关键在于是否存在可寻址内存，而不仅仅是递归计算。