PlannerCritic

LLM批评者过于严格的“对抗性”提示通过代码护栏得到修复

一个名为PlannerCritic的开源LLM引擎，旨在让一个LLM创建计划，另一个LLM对其进行安全审查，遇到了一个问题：批评者LLM由于对其“对抗性”提示的过度严格解读而阻止了有效的计划。批评者将完整性建议标记为关键性阻碍，而不是实际的安全缺陷。开发者通过完善系统提示来明确阻碍和警告的严重性级别，并至关重要的是，添加了一个确定性的代码护栏来强制执行这些规则，确保只有具体的、与计划相关的缺陷才会触发阻碍，从而解决了这个问题。