研究人员开发了改进语言模型的新方法,重点关注效率和专门任务。一篇论文介绍了分层掩码扩散语言模型(HMDLM),该模型使用优先噪声调度来提高生成质量和推理能力,在LM1B和WikiHow等基准测试中显著降低了困惑度。另一项研究探索了均匀扩散语言模型(UDLM)中的循环,证明递归应用早期Transformer层可以极大地提高训练效率和推理速度,而不会改变核心目标。此外,还创建了一个用于自发尼泊尔语-英语代码转换自动语音识别(ASR)的基准测试,利用合成到真实数据的适应性来解决脚本混淆和语言切换点高错误率等挑战。 AI
影响 这些在扩散模型和ASR基准测试方面的进展可能带来更高效、更专业的AI应用。
排序理由 该集群包含多篇详细介绍新模型架构和基准测试的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- FineWeb-Edu
- Hierarchical Masked Diffusion Language Model
- Hugging Face
- LM1B
- Looped Uniform Diffusion Language Models
- Masked Diffusion Language Models
- Nepali English
- OpenWebText
- transformer
- Uniform Diffusion Language Models
- WikiHow
AI 生成摘要 · Google Gemini · 来自 5 个来源。 我们如何撰写摘要 →