Llamion

Llamion 语言模型将 Orion-14B 转换为 Llama 架构

研究人员推出了一系列名为 Llamion 的新型 140 亿参数开放权重语言模型。这些模型通过一种称为高效知识保留转换（KEPT）的技术，将 Orion-14B 模型转换为 Llama 架构。该方法结合了参数映射和跨架构知识蒸馏，以保留 Orion 的行为。Llamion 模型在 KoMMLU 等基准测试中表现出色，超越了现有模型，并保留了 Python 编程和处理 200K token 上下文等能力。