App Insights

Microsoft Foundry 通过更新的 Azure AI 工具简化 LLMOps

Microsoft 更新了其 LLMOps 框架，现品牌为 Microsoft Foundry，以简化生产环境中大型语言模型的部署和管理。更新后的系统集成了 Azure AI Search（用于检索增强生成 RAG）和 Agent Framework（用于编排）等组件，逐步淘汰了 Prompt flow 等旧工具。生产 LLMOps 的关键考虑因素包括管理非确定性模型输出、实施强大的安全护栏以及通过详细的监控和预算控制成本。