程序员们正在讨论在使用本地大型语言模型（LLM）时，当他们的硬件只能以低于每秒10个token的速度生成token时的策略。Reddit的r/LocalLLaMA子版块上的讨论集中在优化工作流程和在这些性能限制下确定最有效的编码辅助方法。用户正在分享他们的个人方法，并寻求关于如何在生成速度缓慢的情况下最好地利用LLM的建议。 AI
影响 讨论了具有有限硬件能力的本地LLM开发人员面临的实际挑战和解决方案。
排序理由 用户在子版块上讨论关于慢速本地LLM性能的工作流程优化。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>What's your workflow and what's the best way you have found to code with local LLM when your token generation is < 10 tk/sec?</p> </div><!-- SC_ON -->   submitted by   <a href="https://www.reddit.com/user/segmond"> /u/segmond </a> <br …