i7-4790K

开发者在自定义模型实验失败后，构建了无 LLM 的终端助手

一位开发者由于担心人工智能成本不断上升，探索了在不依赖大型语言模型 (LLM) 的情况下创建终端助手。最初的尝试包括在个人硬件上从头开始训练自定义 Transformer 和 Mamba 模型，但这些模型被证明效率低下且结果不令人满意。随后，开发者通过 Ollama 试验了现有的开放权重模型，发现它们对于实际使用来说太慢了，尤其是在 VRAM 有限的情况下。最终，该项目转向了一种新方法，明确避免使用嵌入、机器学习和 LLM。