一位开发者创建了一个紧凑、独立的基于 HTML 的大型语言模型 (LLM),大小仅为 24KB。该模型能够生成连贯的故事,即使在智能手机上也能达到每秒 60 多个 token 的速度。开发者通过自适应量化和精心的 HTML/JS 打包等技术,显著减小了 MacroStory 模型的大小,重点在于减小嵌入大小而非张量大小。 AI
影响 展示了极致的模型压缩技术,有可能在资源极其受限的设备上部署 LLM。
排序理由 该条目描述了模型压缩和部署方面的一项技术创新,符合‘工具’类别,因为它是一个具体的应用,而不是前沿发布或研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →