实体
2.8-trillion-parameter
2.8-trillion-parameter
PulseAugur coverage of 2.8-trillion-parameter — every cluster mentioning 2.8-trillion-parameter across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Kimi K3：工程化一个2.8T参数的开放模型以实现高效部署
Kimi团队工程化了Kimi K3，一个2.8万亿参数的开放模型，解决了使如此大的模型在计算上可行的挑战。该系列详细介绍了为克服生成每个token时激活整个网络的巨额成本而实施的架构重新设计。对标准Transformer解码器进行了关键修改，包括其前馈层、注意力机制和残差流，以实现高效扩展。
-
AirLLM 通过逐层推理使 70B 模型在 4GB GPU 上运行 · 跟踪 8 个来源
开源项目 AirLLM 已获得显著关注，在 GitHub 上获得了超过 27,000 颗星。其核心创新在于允许大型语言模型（特别是 700 亿参数模型）在单块 4GB GPU 上运行。这是通过一种逐层推理技术实现的，该技术仅将当前活动的层加载到 GPU 内存中，其余部分则驻留在磁盘上。虽然这使得在消费级硬件上运行大型模型成为可能，但其推理速度与传统方法相比会显著变慢。