研究人员推出了一种新颖的大型语言模型框架LLaCO,该框架在嵌入空间中利用连续扩散。该方法通过引入竞争阈值理论(CTT)和语义保留调度(SRS)来解决时间压缩和令牌身份衰减问题。LLaCO采用嵌入方向适配器和时间步长条件调制,以及球形加噪过程,以改进去噪轨迹并保持准确的令牌竞争。LLaCO的8B模型实例已证明其性能优于现有的连续扩散模型,并可与同等规模的离散扩散模型相媲美。 AI
影响 引入了一种新的基于扩散的大型语言模型方法,有望提高生成质量和效率。
排序理由 该集群包含一篇详细介绍大型语言模型新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- 8B model
- arXiv
- Competition Threshold Theory
- embedding directional adapter
- Hugging Face
- Semantic Retention Scheduling
- timestep-conditioned modulation
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →