PTBench

新的ConceptMoE模型为LLM提供灵活的计算预算

研究人员开发了一种名为Multi-Ratio ConceptMoE的新型模型架构，该架构允许单个模型在对话的多轮中以不同的计算预算运行。该方法在共享骨干网中使用2、4和8的token到concept压缩比，从而实现灵活的计算分配。该模型在PTBench和SFTBench等基准测试中展示了改进的准确性-计算权衡，并在CodeChat和CoSQL等任务上显著减少了与在独立模型之间路由相比的FLOPs。