Supervision

新的TEXAS方法增强了混合专家LLM的适配能力

研究人员开发了一种名为TEXAS（任务-专家感知监督）的新方法，以改进混合专家（MoE）大型语言模型的适配。该技术通过比较成功与失败问题实例上的激活模式来识别与任务相关的专家。然后，TEXAS在微调过程中利用这些见解更有效地分配监督信号，在激活这些已识别的专家给出错误答案时，对特定标记进行加权。在多个MoE模型和基准测试中，TEXAS在大多数评估环境中都表现出优越或相当的性能，优于现有方法。