实体
RecurrentGPT
RecurrentGPT
PulseAugur coverage of RecurrentGPT — every cluster mentioning RecurrentGPT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
门控循环Transformer在深度和效率上优于标准模型
研究人员引入了一种名为门控循环Transformer的新架构，旨在提高Transformer模型的表达能力和内存效率。这种新设计跨越多层复用共享核心，并通过自适应更新门进行调制，从而无需大量独特参数即可实现专业化表示。在实验中，一个3层门控循环Transformer在相似的计算约束下达到了与12层GPT-2 Small模型相当的性能，展示了参数和内存使用量的显著减少。
-
RecurrentGPT 引入循环调制以提高 Transformer 效率
研究人员推出了一种新颖的 Transformer 架构 RecurrentGPT，旨在增强大型语言模型在表达能力和内存效率方面的表现。该模型利用循环调制，允许共享核心迭代多次，从而减少了对大量独特层数的需要。在可比的计算限制下，RecurrentGPT 在准确性方面与显著更深的標準 Transformer 相当，同时在参数更少和内存使用量减少的情况下取得了有竞争力的结果。