研究人员为离散扩散模型中的分数估计建立了 minimax 下界，特别关注均匀和掩码离散扩散。他们提出了一种基于最大似然估计 (MLE) 的阈值估计器，该估计器在 KL 散度下实现了近乎最优的 minimax 样本复杂度。这项工作表明，分数-熵离散扩散 (SEDD) 在适当的初始化和离散化下可以达到近乎最优的性能。 AI
影响 为离散扩散模型奠定了理论基础，有望提高其在自然语言处理和图数据等应用中的效率和性能。
排序理由 学术论文，详细介绍了离散扩散模型的理论统计极限并提出了一种估计器。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Auckland University of Technology
- Hugging Face
- Kullback–Leibler divergence
- masking discrete diffusions
- uniform discrete diffusions
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
