Hacker Newsletter

基于浏览器的 RAG 应用“ask my blog”在客户端使用小型 LLM

一位开发者创建了一个名为“ask my blog”的基于浏览器的应用程序，该应用程序完全在客户端使用检索增强生成（RAG）。该系统允许用户提出问题，并由直接在浏览器中运行的小型语言模型来回答，无需服务器端处理或 API 密钥。该应用程序从博客中检索相关段落，然后使用通过 Hugging Face 加载的语言模型将这些段落总结成简洁的答案，并可以选择使用 WebGPU 或 WebAssembly 进行处理。