Qtale

QTALE框架通过整合量化和自适应层执行来提高LLM效率

研究人员开发了QTALE，一个旨在提高大型语言模型（LLM）效率的新框架，它结合了Token自适应层执行和量化技术。该方法旨在减少计算和内存需求，同时不牺牲准确性，而这在使用这些技术时是常见问题。QTALE引入了一种训练策略，确保探索多样化的执行路径，以及一种用于在推理过程中灵活调整执行比例的训练后机制。实验表明，QTALE在CommonsenseQA基准测试上保持了与仅量化模型相当的准确性水平，差距小于0.5%。