实体 RangeSWA

RangeSWA

PulseAugur coverage of RangeSWA — every cluster mentioning RangeSWA across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_336201 · Oct 30 · 00:00

新方法通过高效转换和长度外插增强扩散语言模型

研究人员开发了两种改进扩散语言模型（DLM）的新方法。第一种方法 BYOD 提供了一种参数高效的方式，仅使用 LoRA 适配器即可将现有的自回归模型转换为 DLM，使 Gemma 2 9B 和 Llama 3.1 8B 等模型能够生成具有扩散能力的文本，同时保留其原始知识。第二种方法 RangeSWA 解决了 DLM 中的长度外插问题，通过滑动窗口注意力（sliding-window attention）和动态内容检索（dynamic…