Continuous Diffusion Language Models
PulseAugur coverage of Continuous Diffusion Language Models — every cluster mentioning Continuous Diffusion Language Models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的GRAFT方法提高了扩散语言模型中稀有词的生成能力
研究人员发现连续扩散语言模型存在一个重大限制，即它们难以生成稀有词，生成率仅为人类的0.30倍。这个问题源于模型在每一步都会对候选词进行平均，导致稀有词被常见词取代。为了解决这个问题，提出了一种名为GRAFT的新型无需训练的方法。GRAFT通过在生成过程早期固定稀有词，然后重新生成序列，从而恢复了稀有词的比例，显著改善了生成文本的词频分布。
-
新的探针引导方法增强了扩散语言模型
研究人员开发了一种称为探针引导的新技术，以提高扩散语言模型的性能。该方法利用现有扩散模型的冻结内部状态来创建引导信号，无需在推理过程中进行额外的正向传播，并确保弱模型和强模型之间具有相似的动态。当应用于一个1.7B的扩散语言模型时，探针引导显著提高了多项选择题问答基准的性能，并为连续扩散语言模型中的无条件生成设定了新的最先进水平。
-
AI 发展涵盖 LLM 视频生成、新型语言模型和历史编码见解
该集群汇总了来自 Mastodon 的三篇独立帖子，每篇都强调了 AI 的不同方面。第一篇介绍了 Academa，一个使用 LLM 生成长篇 STEM 讲座视频的平台。第二篇讨论了连续扩散语言模型 (CDLM)，这是一种新颖的语言建模方法。第三篇帖子回顾了从 1990 年代吸取的 AI 编码经验教训。
-
新连续扩散语言模型（CDLM）方法被提出
一篇新的研究论文介绍了连续扩散语言模型（CDLM），这是一种利用扩散过程的新型语言建模方法。该方法旨在通过将通常用于图像生成的扩散模型应用于语言领域，来提高连贯且与上下文相关的文本生成能力。