PlannerCritic
PulseAugur coverage of PlannerCritic — every cluster mentioning PlannerCritic across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI规划系统在170个目标中暴露出一致的结构性缺陷
一项使用名为PlannerCritic的AI系统的实验，该系统涉及一个LLM生成计划，另一个LLM进行审查，在170个多样化目标中揭示了一致的失败模式。该系统识别出三个主要缺陷：未经验证的依赖关系、不安全的排序和薄弱的回滚机制。值得注意的是，增加LLM的大小或能力并未解决这些结构性问题，这表明问题在于规划框架本身，而非模型的智能。
-
LLM 评论家表现出非确定性行为，但通过基于代码的契约维护安全性
一个用于计划评估的 LLM 评论家表现出非确定性行为，在多次运行中对相同的输入返回不同的判决和推理。尽管存在这种不一致性，该系统通过采用确定性门和强制执行特定阻止标准的 frozenset 来维护安全性。这种架构确保了，虽然 LLM 的判断可能有所不同，但关键的安全故障是通过基于代码的验证来防止的，而不是仅仅依赖 LLM 的输出。
-
AI 代理的高拒绝率被誉为安全功能
一位开发者构建了一个名为 PlannerCritic 的规划代理，旨在通过拒绝其无法自信完成的任务来避免危险输出。在测试过程中，该代理升级了 97 个严格目标中的 96 个，这一指标起初看起来像是失败。然而，开发者认为这种高拒绝率是该代理强大功能的体现，防止了看似可行但有缺陷的计划可能带来的灾难性后果。学到的关键产品教训是，对于高风险系统而言，一次自信的拒绝并精确解释障碍比一个看似成功但隐藏风险的计划更有价值。
-
开源发布审计发现AI引擎正确，但发布叙述存在缺陷
PlannerCritic v0.2.1 的一个开源版本由外部读者进行了审计，揭示了项目声明与其公开制品之间的差异。虽然核心引擎表现良好，但发布文档在测试数量、失败分类和具体指标方面存在不准确之处。审计强调，AI系统在功能上可以是正确的，但其伴随的发布叙述可能存在缺陷，这可能会侵蚀对关键基础设施的信任。
-
Agent Engine 的架构阻止了提示注入尝试
一个名为 PlannerCritic 的开源 Agent Engine，采用双 LLM 架构进行规划和审查，成功抵御了提示注入尝试。该引擎的设计包括解析计划抽象语法树而非自然语言的确定性门控，从而阻止了对抗性目标绕过安全检查。即使在明确指示忽略安全协议或将恶意操作伪装成合法任务的情况下，该引擎的架构安全措施以及专注于结构完整性而非意图的次要审查模型也有效地阻止了注入。
-
PlannerCritic LLM引擎在现场测试中从10个问题改进到零问题
一个名为PlannerCritic的开源引擎，专为LLM驱动的规划和审查而设计，已经过广泛的现场测试。早期对版本0.1.0的测试以0.30美元的成本发现了10个问题，包括设计缺陷和工具链错误。随后的更新，特别是版本0.2.1，显著改进了系统，代码审查在现场测试前捕获了所有已识别的错误，从而在最新的测试中未发现任何问题。
-
LLM规划器的结构性缺陷在模型升级后依然存在
一个关于构建名为PlannerCritic的开源LLM规划引擎的系列文章揭示了该规划器在创建可靠计划方面的结构性缺陷。尽管使用了GPT-4o等先进模型并实现了修订循环，该规划器仍然一贯地犯三类相同的错误：未经验证的依赖关系、不安全的排序以及薄弱的回滚机制。作者得出结论，这些问题源于规划结构本身的根本性问题，而非LLM的大小或能力，并且需要确定性验证才能改进。
-
LLM批评者过于严格的“对抗性”提示通过代码护栏得到修复
一个名为PlannerCritic的开源LLM引擎，旨在让一个LLM创建计划，另一个LLM对其进行安全审查，遇到了一个问题：批评者LLM由于对其“对抗性”提示的过度严格解读而阻止了有效的计划。批评者将完整性建议标记为关键性阻碍，而不是实际的安全缺陷。开发者通过完善系统提示来明确阻碍和警告的严重性级别，并至关重要的是，添加了一个确定性的代码护栏来强制执行这些规则，确保只有具体的、与计划相关的缺陷才会触发阻碍，从而解决了这个问题。