PulseAugur
中
实时 16:04:04
English(EN) Apertus LLM Family Expansion via Distillation and Quantization

Apertus LLM 系列通过蒸馏和量化进行扩展

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种方法，通过蒸馏和量化创建更小、更高效的模型来扩展 Apertus LLM 系列。新推出的 Apertus-v1.1 模型拥有高达 40 亿参数，在 1.7 万亿个 token 上进行了训练，在保持高准确性的同时展示了成本效益。这种方法使得 LLM 能够适应更广泛的硬件和预算限制，使其适用于各种应用。 AI

影响 使 LLM 能够满足多样化的硬件和预算限制，拓宽了其在各种用例中的适用性。

排序理由 该集群描述了一篇研究论文，详细介绍了通过蒸馏和量化创建新的 LLM 变体。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Apertus LLM 系列通过蒸馏和量化进行扩展

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Andrei Panferov, Davit Melikidze, Martin Jaggi, Dan Alistarh ·

    Apertus LLM 系列通过蒸馏和量化进行扩展

    arXiv:2605.29128v1 Announce Type: new Abstract: The wide adoption of LLMs has led to their use in great variety of applications and scenarios, such as chatbot assistants and data annotation, creating the need for the models to satisfy certain budget and hardware constraints. This…

相关话题