新论文在真实的手机用户设置下对手机上的大型语言模型进行基准测试

一篇文献综述讨论了“MELTing point”论文，该论文在移动设备上对语言 Transformer 进行了基准测试。该研究采用了真实的用户设置，区分了预填充和解码过程，以评估 LLM 在各种手机和边缘设备上的性能。研究人员使用了一个复杂的系统，配备 Raspberry Pi 控制器来管理部署、监控和与设备的交互，同时还捕获了从应用程序启动到 LLM 响应的完整用户体验。 AI

影响 这项研究为 LLM 在边缘设备上的实际性能提供了见解，为未来的移动人工智能应用开发提供了信息。

排序理由 该集群讨论了一篇在移动设备上对语言模型进行基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

• language transformers
• llama.cpp
• LLMFarm
• LLMs
• MLChat
• MLC-LLM
• Phones
• Raspberry Pi

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →