DynaGraph

DynaGraph框架通过动态重构降低LLM延迟和计算成本

研究人员开发了DynaGraph，一个旨在提高大型语言模型执行复杂推理任务效率的新型框架。该系统动态重构其拓扑结构，通过共享基础模型上的多路复用适配器来减少计算冗余，并支持在单个GPU上部署。DynaGraph的自愈能力通过触发细粒度修补或子图重构来解决错误和逻辑断裂。实验表明，使用DynaGraph的8B参数模型在推理能力上可与72B的单体模型相媲美，同时延迟和令牌消耗显著降低。