Qwen 2.5 Coder 1.5B

开源系统汇集笔记本电脑离线运行大型 LLM

一位计算机科学专业的学生开发了一个名为 AirDrop-LLM 的开源系统，该系统允许用户通过汇集资源在消费级笔记本电脑上运行大型语言模型 (LLM)。该系统通过允许多个异构设备在本地网络上共享它们的 RAM、VRAM 和 GPU 计算能力，从而绕开了对昂贵云服务的需求。AirDrop-LLM 会动态地在设备之间分配模型层，优化硬件容量，并通过在节点断开连接时回退到本地独立模型来提供容错能力。