实体 GPT-Tiny

GPT-Tiny

PulseAugur coverage of GPT-Tiny — every cluster mentioning GPT-Tiny across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_286955 · Oct 8 · 04:00

新的学习型优化器改进了 BERT-Tiny、GPT-Tiny 和 Vision Transformers 的训练

研究人员开发了一种新颖的学习型优化器，该优化器通过动态重组梯度历史来提高模型训练效率和性能。该优化器仅有 37,000 个参数，在不到一小时的 GPU 时间内取得了显著的改进。它在 BERT-Tiny 和 GPT-Tiny 上的验证损失分别降低了 9.1% 和 0.4%，在 Vision Transformer 上的表现比 Adam 高出 3.5 个百分点，在九个图模型上的平均表现高出 2.7 个百分点。