PulseAugur
中
实时 16:49:45
实体 One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data

One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data

PulseAugur coverage of One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data — every cluster mentioning One Byte, One Token: Byteifying a 27B Hybrid-Attention LLM with Self-Generated Data across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_358368 ·

    字节级 LLM 转换保持性能但吞吐量锐减

    研究人员开发了一种方法，将一个 27B 参数的混合注意力 LLM Qwen3.8 转换为纯字节级模型。该字节模型使用自生成数据和百科全书文本进行训练，在 MATH-500 和 HumanEval 等各种基准测试中保持了原始模型的大部分能力。然而，这种转换导致吞吐量显著下降，预填充速度慢了 6.5 倍，中文处理速度慢了约 4 倍。