Snapdragon 680

小型语言模型在配备 4GB RAM 的经济型 Android 手机上运行

一款小型开源语言模型已在低端 Android 手机上进行了测试，以评估其在有限内存下的运行能力。该模型成功在一台配备 4GB RAM 的 Galaxy A05s 上运行，并在 4.25 秒内回答了一个标准问题。然而，其性能会因网络连接状态和上下文长度而异，当上下文长度达到 768 个 token 时，速度会下降到 11.0 tokens/秒。该模型专门针对药房软件进行了训练，不适用于通用聊天机器人应用，并且在目标设备上的准确性仍需进一步评估。