Entropy-Valley

Diffusion LLMs 在翻译和形式语言生成方面取得进展 · 跟踪 2 个来源

两篇新的研究论文探讨了扩散大型语言模型（dLLMs）在机器翻译和形式语言生成方面的进展。第一篇论文介绍了熵谷（EV），一种用于机器翻译中 dLLMs 的无训练长度选择方法，它改进了目标长度选择，并取得了与自回归模型相比具有竞争力的结果。第二篇论文提出了 LAVE，一种用于 dLLMs 的约束解码方法，通过使用前瞻和验证来保持语法正确性，同时开销极小，从而确保形式语言的可靠生成。