MLChat

新论文在真实的手机用户设置下对手机上的大型语言模型进行基准测试

一篇文献综述讨论了“MELTing point”论文，该论文在移动设备上对语言 Transformer 进行了基准测试。该研究采用了真实的用户设置，区分了预填充和解码过程，以评估 LLM 在各种手机和边缘设备上的性能。研究人员使用了一个复杂的系统，配备 Raspberry Pi 控制器来管理部署、监控和与设备的交互，同时还捕获了从应用程序启动到 LLM 响应的完整用户体验。