250M parameter model

开发者创建可在 CPU 上运行的超轻量级大语言模型

一位开发者创建了一个自定义的量化大语言模型 SHADOW-250M-Instruct，拥有 2.5 亿个参数，在 300 亿词元上训练。该模型专为极致效率而设计，部署大小仅为 60 MB，且内存占用极少，使其无需 GPU 即可在标准笔记本电脑 CPU 上运行。它具有独特的长上下文机制，可将旧信息压缩到磁盘，以及新颖的词汇系统，使其能够访问多达 1 亿词元的历史记录，尽管它主要针对检索而非在扩展上下文中进行深度推理进行训练。