实体
GPT-2 Medium
GPT-2 Medium
PulseAugur coverage of GPT-2 Medium — every cluster mentioning GPT-2 Medium across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
全新 7B 统一扩散语言模型 'Sumi' 发布，伴随扩散模型进展
研究人员推出了 Sumi，一个拥有 70 亿参数的统一扩散语言模型 (UDLM)，该模型在 1.5 万亿 tokens 上从头开始预训练。这个开源模型在知识、推理和编码任务上表现出与自回归模型相当的性能，但在常识基准测试上表现稍逊。发布内容包括模型权重、检查点以及完整的训练方法，旨在为大规模研究 UDLM 提供参考。此外，其他研究探索了扩散语言模型的进展，包括生成 CUDA 核的方法、通过自生成错误训练改进 Token 编辑，以及开发…
-
AutoCompress 方法隔离关键 Transformer 层以实现高效压缩
研究人员开发了 AutoCompress，一种通过隔离和保留关键的第一层（第 0 层）来压缩 Transformer 模型的新颖方法。这种称为关键层隔离（CLI）的方法表明，在较小的 Transformer 中，第 0 层比其他层包含更多与任务相关的关键信息。当应用于 GPT-2 Medium 时，CLI 实现了 2.47 倍的压缩比，参数减少了 59.5%，同时在 WikiText-103 基准测试中保持了强劲的性能。