Alex Welch

Tether 为消费级设备带来 AI 内存压缩技术

Tether 推出了名为 TurboQuant 的开源 AI 内存压缩算法，该算法改编自 Google 的 TurboQuant，适用于消费级设备。该技术通过压缩键值缓存，显著减少了大型语言模型所需的内存，从而能够在笔记本电脑和手机等本地设备上实现更强大的 AI 处理。虽然在提示处理速度上略有折衷，但准确性几乎保持不变，能够进行更长的对话并处理更大的文件，而无需依赖云资源，从而节省成本并增强数据隐私。