实体 X-CoSD

X-CoSD

PulseAugur coverage of X-CoSD — every cluster mentioning X-CoSD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_240476 · Sep 7 · 00:00

新方法通过推测性解码提升大语言模型推理速度

研究人员正在开发用于加速大语言模型（LLM）推理的先进推测性解码技术。一种名为 X-CoSD 的方法，通过处理词汇差异和最小化数据传输，专注于设备上小型模型与大型服务器模型之间的有效通信。另一种名为 Osprey 的方法，利用预训练的小型语言模型作为草稿生成器，通过轻量级过程将其适配到各种目标模型，以提高接受率和令牌生成速度。此外，正在探索一种名为在线草稿协同训练（Online Draft Co-Training）的技术，通过优化注意…