Trend-Aware Stratified Pruning

双维度一致性框架优化大语言模型推理效率

研究人员推出了一种名为双维度一致性（DDC）的新型框架，旨在优化大语言模型（LLMs）的推理过程。DDC通过整合路径质量与自适应终止来解决计算预算与推理质量之间的平衡挑战。该方法采用置信度加权贝叶斯协议和趋势感知分层剪枝，将资源集中于高质量的推理路径，从而减少幻觉并加速共识。初步评估表明，与现有方法相比，DDC在各种大语言模型上可以将令牌消耗减少十倍以上，同时保持或提高准确性。