WIAIA

LLM 在 Raspberry Pi 5 上运行，但存在显著的内存限制

在 Raspberry Pi 5 上本地运行大型语言模型（LLM）对于某些任务是可行的，尽管性能受到设备 8GB 内存的限制。一个 5B 参数的模型大约需要 3.5-4GB 的内存来存储其权重，为上下文留下的空间有限，通常在 2-3k token 左右。建议使用 Ollama 和 llama.cpp 等工具来管理模型和控制参数，其中 Ollama 因其易用性和 systemd 集成而成为常见的默认选项。建议量化到 4 位（Q4_K_M…