MLPerf

MLC 支持在浏览器、iPhone 和 AMD 显卡上运行大型模型

由卡内基梅隆大学（CMU）的 Tianqi Chen 领导的机器学习编译（MLC）小组正在开发 MLC Chat 和 Web LLM 等框架，以支持在包括 iPhone 和网页浏览器在内的消费级硬件上运行大型语言模型。该计划旨在通过允许模型在配备 AMD 显卡甚至仅 CPU 的设备上本地运行，来缓解当前的 GPU 短缺问题。Hugging Face 的 text-to-webapp 生成器和 Gradio 等项目也在为开发者和最终用户…