一位开发者已成功地将一个大型语言模型(LLM)直接集成到其个人网站中,使其能够在访客的浏览器中运行,而无需后端服务器或API密钥。这种方法通过将所有交互保持在本地来确保隐私,并防止LLM访问超出开发者个人简历之外的信息。该实现利用WebGPU技术进行高效处理,开发者选择了WebLLM框架,因为它具有与OpenAI兼容的API,并且能够处理具有4096个token上下文窗口的模型,这足以满足简历的内容。 AI
影响 实现了用户浏览器中直接进行隐私保护且免费的LLM交互。
排序理由 开发者使用基于浏览器的技术为个人网站实现了一个LLM。
- Carnegie Mellon University
- Gemini Nano
- GitHub Pages
- Hugging Face
- MLC
- ONNX Runtime Web
- OpenAI
- Transformers.js
- WebAssembly
- WebGPU
- WebLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →