一种名为“零服务器AI”的新方法使得大型语言模型(LLM)和向量搜索可以直接在用户的网络浏览器内运行,无需中心化的云基础设施。这是通过WebGPU规范实现的,与以前基于浏览器的方法相比,该规范可以显著提速。这种架构支持私有的、支持离线运行的AI应用程序,且没有重复的推理成本。 AI
影响 支持私有的、离线AI应用程序,具有零重复推理成本,将计算转移到最终用户的设备上。
排序理由 该条目描述了一种在客户端运行AI模型的新架构方法和工具,而不是前沿AI实验室的发布。
- Apple Silicon
- Direct3D 12
- huggingface/transformers.js
- lancedb/lancedb
- Metal
- Origin Private File System
- tauri-apps/tauri
- Vulkan
- WebGPU
- WebGPU Shading Language
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →