实体
MobileLLM-125M
MobileLLM-125M
PulseAugur coverage of MobileLLM-125M — every cluster mentioning MobileLLM-125M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Daedalus-150M：一种针对CPU推理优化的新型混合LLM架构
研究人员开发了Daedalus-150M，这是一种针对CPU推理优化的新型语言模型架构。与传统模型在设计后进行缩减不同，Daedalus-150M在设计时就考虑了CPU的限制，并采用了卷积-注意力混合机制。这种设计使其能够在显著减少内存需求的情况下保持性能，尤其是在处理长上下文时。
-
新型 Daedalus-150M 模型通过混合架构实现更快的 CPU 推理
研究人员开发了 Daedalus-150M，这是一种针对高效 CPU 推理进行了优化的新型语言模型。该混合模型结合了稀疏注意力和短卷积，使其三分之二的架构能够避免重新读取广泛的上下文缓存。尽管 Daedalus-150M 在比同类模型少得多的数据上进行了训练，但在五任务基准测试中，其表现优于 GPT-2 124M 和 Pythia-160M 等大型模型，得分达到 47.31，目标是 42.20。该模型在解码速度方面也表现出更快的速度，…