一个拥有9000万参数的对话式大型语言模型已成功部署到2004年的索尼PlayStation Portable(PSP)上。虽然该模型能够生成文本,但其推理速度非常慢,平均每秒0.5-0.6个token,这意味着响应可能需要几分钟。尽管存在局限性,该模型仍能产生基本的创意内容并回答简单的事实性问题,但容易出现幻觉。 AI
影响 展示了在低功耗、旧设备上运行AI模型的潜力,尽管存在显著的性能限制。
排序理由 在过时的消费级硬件上运行小型LLM的演示。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →