一篇新的研究论文探讨了在移动设备上运行大语言模型时，性能、能耗和隐私权之间的权衡。该研究开发了一个实验流程，在安卓设备上测量这些因素，并测试了八个大语言模型。研究结果表明，模型架构而非量化是能效的关键，混合专家模型在平衡存储和功耗方面显示出潜力。 AI
影响 量化了在边缘设备上运行大语言模型的能耗和性能成本，为未来移动部署的模型优化提供了指导。
排序理由 该集群包含一篇详细介绍大语言模型性能权衡的实证研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →