实体
BERT-Large
BERT-Large
PulseAugur coverage of BERT-Large — every cluster mentioning BERT-Large across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的CONA方法通过链接并行策略加速LLM训练
研究人员开发了一种名为CONA的新训练方法，该方法在训练期间动态调整大型语言模型的并行策略。与选择单一离线策略的现有方法不同，CONA会监控训练进度，并在需要时切换到更有效的策略。这种方法显著减少了达到目标困惑度的时间，与最先进的技术相比，在GPT-3 1.3B、BERT-Large和Llama-3.2-1B等模型上实现了1.4-9.6倍的更快收敛。
-
MDTransformer：新型光子加速器设计提高效率
研究人员开发了MDTransformer，一种用于光子Transformer加速器的新型软硬件协同设计。该系统利用模分光数据流和逆向设计的 Buty componentes 来执行复杂的矩阵运算，从而能够在独立的 Buty 通道上实现并行计算。与现有的光子Transformer加速器相比，MDTransformer 在面积减小、节能和能效方面取得了显著改进，同时保持了可比的 Buty。