一位开发者分享了他们使用开源 LLM 构建生产服务进行预约调度的经验，但最终因重大挑战决定关闭该项目。虽然开源模型已经改进并且适合个人使用，但将其集成到多方服务中却带来了问题。问题包括提供商不可靠的 API 正常运行时间、PydanticAI 在同步环境中的异步设计带来的困难，以及模型频繁返回无法修复的损坏结构化数据，导致用户体验不佳。 AI
影响 强调了由于可靠性和数据完整性问题，在多方生产环境中部署 LLM 所面临的困难。
排序理由 开发者关于在生产服务中使用 LLM 的挑战的个人陈述。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Hello everyone.</p> <p>I had posted in this sub about making a production service about 8 months ago. <a href="https://www.reddit.com/r/LocalLLaMA/comments/1orw0fz/ive_been_trying_to_make_a_real_production_service/">Here the link of my previous p…