SparseEngine

新研究探索通过射频广播和稀疏性技术实现高效LLM推理

研究人员正在开发新颖的方法来提高大型语言模型（LLM）推理的效率。一种方法AIR-LLM提出通过射频广播LLM权重，使边缘设备无需存储权重即可进行推理，从而显著降低能耗和通信时长。其他研究则侧重于通过稀疏性技术优化推理，例如SparseEngine和TopK-Guided，它们通过选择性地处理模型的一部分来降低内存和计算成本。此外，正在开发MINCE和evalstats等新框架，通过缩小数据集和提高LLM评判分数统计分析的可靠性来简化LLM评估。