AzeroS

新型LALM模型通过无指令对齐实现具有竞争力的多模态性能

研究人员开发了一种新颖的多模态大语言模型（MLLM）创建方法，该方法仅关注对齐，绕过了传统的多阶段流程。这种新方法称为LALM，仅训练一个轻量级投影仪，同时保持音频编码器和核心LLM的冻结状态。通过利用自生成数据和无指令训练，LALM在各种基准测试中取得了具有竞争力的性能，使用的数据量大大减少，却能媲美甚至超越经过大量后训练的模型。该技术保留了LLM固有的指令遵循能力，并允许快速适应新的LLM代和模态。