实体 Dream-v0-Base-7B

Dream-v0-Base-7B

PulseAugur coverage of Dream-v0-Base-7B — every cluster mentioning Dream-v0-Base-7B across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_299259 · Oct 13 · 07:29

Prefilling-dLLM v2 通过学习路由提升长上下文扩散模型性能

研究人员开发了Prefilling-dLLM v2，一种提高扩散语言模型在长上下文处理效率的方法。该方法涉及对模型进行持续训练，以便在块之间路由信息，而不仅仅是在推理时进行。通过引入学习路由槽和混合注意力机制，Prefilling-dLLM v2 在长达128K的RULER任务上显著优于其他稀疏方法，比次优稀疏模型准确率高出7.4个百分点。与全密集注意力相比，该优化还将解码速度提高了172倍。