一位开发者由于担心人工智能成本不断上升,探索了在不依赖大型语言模型 (LLM) 的情况下创建终端助手。最初的尝试包括在个人硬件上从头开始训练自定义 Transformer 和 Mamba 模型,但这些模型被证明效率低下且结果不令人满意。随后,开发者通过 Ollama 试验了现有的开放权重模型,发现它们对于实际使用来说太慢了,尤其是在 VRAM 有限的情况下。最终,该项目转向了一种新方法,明确避免使用嵌入、机器学习和 LLM。 AI
影响 展示了针对特定任务的高效、非 LLM 基础 AI 工具的潜力,减少了对昂贵大型模型的依赖。
排序理由 该条目描述了一个新工具(终端助手)的开发和开发者的过程,而不是来自主要 AI 实验室的发布或重大的行业事件。
在 Hacker News — AI stories ≥50 points 阅读 →
- ETH Zurich
- GTX 1050 Ti
- Hugging Face
- i7-4790K
- Mamba
- nanoGPT
- Nvidia
- Ollama
- Pius Sieber
- Project Gutenberg
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →