一款小型开源语言模型已在低端 Android 手机上进行了测试,以评估其在有限内存下的运行能力。该模型成功在一台配备 4GB RAM 的 Galaxy A05s 上运行,并在 4.25 秒内回答了一个标准问题。然而,其性能会因网络连接状态和上下文长度而异,当上下文长度达到 768 个 token 时,速度会下降到 11.0 tokens/秒。该模型专门针对药房软件进行了训练,不适用于通用聊天机器人应用,并且在目标设备上的准确性仍需进一步评估。 AI
影响 使得在低端硬件上运行设备端 AI 应用成为可能,从而扩大了专业任务的可及性。
排序理由 该条目讨论了特定 LLM 在消费设备上的性能,属于工具和基础设施类别,而非前沿发布或重大行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →