ATEST-Calibrated

新的ATEST框架通过适应GPU负载和能源成本来优化大语言模型推理

研究人员开发了ATEST，一个用于大语言模型推理的自适应资源感知测试时推理的新框架。该系统通过根据查询难度和实时GPU条件（包括能源成本）动态调整推理工作量，解决了传统方法中固定采样预算的问题。ATEST-Online模式无需离线校准，可逐步生成样本，监控GPU负载，并学习能源成本以确定何时停止，在不同负载下展示了准确性和能源效率的显著提升。