Overmind
PulseAugur coverage of Overmind — every cluster mentioning Overmind across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
7 种生产模式用于训练 AI 代理的详细介绍
为生产环境训练 AI 代理涉及一个以基础设施和数据为中心的循环过程。关键步骤包括记录每次代理运行以捕获详细跟踪信息，利用这些跟踪信息从真实流量中构建评估数据集，并对这些跟踪信息进行标注以识别失败。该过程强调提示工程存在局限性，并且使用 LoRA 等技术进行微调至关重要，然后在训练前冻结评估集并重复该循环。大部分工作投入在底层基础设施上，而不是代理的核心逻辑上。
-
提示工程 vs. 微调：选择正确的LLM策略
提示工程，即精心设计大型语言模型（LLM）的输入以获得期望输出的实践，被认为是利用AI能力的关键初始步骤。虽然对许多任务都有效，但提示工程最终会遇到局限性，例如性能停滞、需要不断调整提示以及提示膨胀。当这些问题出现时，对模型本身进行微调成为更可行的选择，尽管资源消耗更大，尤其是在处理狭窄领域和足够标记数据的情况下。
-
AI代理的痕迹可通过四阶段管道转化为训练数据集
一个四阶段的管道可以将AI代理运行产生的原始遥测数据转化为用于微调模型的宝贵数据集。此过程首先将每次代理交互捕获为痕迹，然后使用OpenTelemetry的GenAI语义约定等约定来标准化这些数据。下一步涉及对这些痕迹进行采样，因为标记每次运行是不切实际的；策略包括随机采样以及选择有错误或满意度评分低的运行。最后，根据从代理代码库派生的预定义规范对这些采样痕迹进行标记，确保微调的一致性和质量。
-
LLM 微调方法：SFT、LoRA、QLoRA、RFT 和蒸馏法详解
本文概述了微调大型语言模型的各种方法，重点关注实际应用和工具选择。监督微调（SFT）被介绍为起点，需要有标签的输入-输出对。LoRA 和 QLoRA 被讨论为高效的替代方案，它们训练适配器权重而不是整个模型，其中 Unsloth 被指出可以加速这些过程。强化微调（RFT），特别是使用 GRPO 及其变体（如 DAPO++ 和 Dr.GRPO），推荐用于输出质量的判断比演示更容易的任务，例如代理行为。蒸馏法也被涵盖，作为一种将知识从大型…
-
LLM可观测性工具捕获数据但未能判断代理输出质量
文章讨论了LLM基础设施的演变，从直接的供应商SDK转向LLM网关和专用可观测性堆栈。虽然LiteLLM和Portkey等网关简化了模型切换，但Langfuse和LangSmith等可观测性工具捕获了详细的跟踪数据。然而，作者认为，当前的可观测性解决方案侧重于观察代理行为，而不是评估其输出的质量或正确性，这在理解代理性能方面留下了关键的空白。