Cerberus

AI模型在iPhone上运行，将270亿参数压缩至4GB以下

PrismML是一家从加州理工学院分拆出来的初创公司，开发了Bonsai 27B，一个拥有278亿参数的AI模型，能够处理文本和图像，并可直接在iPhone上运行。这是通过一种极端的量化技术实现的，将大多数参数压缩至单个比特，从而将模型的内存占用显著缩小至4GB以下，同时保留了90%以上的原始性能。虽然事实回忆能力受到影响，但推理和编码能力依然强大，并且设备端运行提供了零查询成本、增强的隐私和离线功能等优势，吸引了包括Apple在内的公司关注。