VendorPulse

通过分离推理路径改进LLM记忆集成

一位开发者为LLM队友VendorPulse创建了一个评估层，以改进回忆的记忆如何影响推荐。最初将记忆简单地连接到Groq的提示中，导致LLM总结记忆但未对其采取行动。该解决方案涉及将基线推理与受记忆启发的推理分开，在FastAPI中创建两个不同的评估路径。受记忆启发的路径使用系统提示将记忆视为上下文覆盖，从而产生更细致的推荐，这些推荐会考虑历史模式和真实成本。