Pleias Redline

微型RAG服务器在Raspberry Pi上运行小型AI模型

一个新开发的检索增强生成（RAG）服务器小巧、独立，并且完全在CPU上运行，甚至可以在Raspberry Pi 5上运行。该服务器使用了一个紧凑的GGUF语言模型，特别是Pleias Redline，它是Baguettotron的一个微调版本，拥有大约3亿个参数。该系统集成了LanceDB用于全文搜索，并通过一个最小化的Flask API进行访问，展示了小型语言模型在离线知识工作中的能力。