CallAroundAdvisor

Java 21 Record Patterns 解决 Spring AI 中的无限 LLM 循环

开发人员可以通过在 Spring AI 框架内实现确定性循环检测来防止 LLM 应用程序中代价高昂的无限循环。此方法使用 Java 21 record patterns 来拦截工具调用，并使用滑动窗口缓存来识别重复执行序列。通过在运行时捕获这些循环，开发人员可以抛出特定异常，从而避免不必要的 API 令牌费用并保护其 LLM 预算。