实体 modded-nanoRT

modded-nanoRT

PulseAugur coverage of modded-nanoRT — every cluster mentioning modded-nanoRT across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_317162 · Oct 23 · 04:00

新排行榜旨在加速关系型基础模型预训练

研究人员推出了 modded-nanoRT，一个旨在加速关系型 Transformer 预训练的新排行榜。该系统旨在通过关注速度而非训练运行成本来消除基础模型预训练的障碍，允许单个 GPU 有可能创造纪录。该基准测试使用类型化三线性注意力和 SIGReg，在 NVIDIA H200 上仅用 300 多秒就达到了目标质量，比参考实现快八倍多。