实体 Looped GPT-BERT

Looped GPT-BERT

PulseAugur coverage of Looped GPT-BERT — every cluster mentioning Looped GPT-BERT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_245238 · Sep 10 · 04:00

Looped GPT-BERT模型在语言建模中用计算换参数

研究人员开发了一种名为 Looped GPT-BERT 的新型语言模型，该模型在语言和下游任务上取得了与现有模型相当的性能，同时使用的参数更少。这是通过采用深度参数共享和循环遍历来实现的，有效地用计算换参数。该模型在一个有限的英语语料库上进行了训练，并在 BabyLM 2026 Strict-small 设置下进行了评估，在 BLiMP 和 GLUE 等指标上显示出有希望的结果，尽管也注意到了由于循环设计可能在表示空间中存在局限性。