production logs
PulseAugur coverage of production logs — every cluster mentioning production logs across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI编码工具为开发者带来数据处理和安全风险
人工智能在软件开发中的集成，特别是编码助手，引发了对数据处理和安全性的重大担忧。虽然AI工具可以提高代码质量并提出更改建议，但它们处理的敏感信息，如生产日志或凭证，带来了传统代码审查可能忽略的合规性和安全风险。开发人员必须实施严格的控制和配置来管理输入到AI模型的数据，将这些代理视为供应链的一部分，并确保它们遵守组织的数据策略。
-
AI训练数据管道：提取和准备生产日志
本文详细介绍了一种通过提取和处理生产日志中的数据来创建用于微调AI模型训练集的方法。它涵盖了匿名化技术、为指令微调格式化数据以及实施验证步骤以确保数据质量。目标是构建一个强大的数据管道，能够有效地为AI模型训练准备原始生产数据。
-
从生产日志构建 LLM 微调数据集
本文讨论了为大型语言模型从生产日志构建有效微调数据集的关键过程。文章强调原始日志并非数据集，并着重指出了选择高信号示例的重要性，例如用户编辑、验证器失败或路由到更昂贵模型的请求。作者还提供了数据清理技术的建议，推荐使用代理进行 redaction、使用 MinHash 进行去重、限制每个来源的贡献，以及过滤截断的输出。最后，文章警告了训练集和测试集之间的时间和近乎重复的泄露问题，建议在拆分前进行去重，并使用基于时间的拆分来确保准确评估。
-
研究发现，在日志上进行离线强化学习训练可能具有欺骗性
使用生产日志训练AI模型可能具有误导性，正如最近对离线强化学习（RL）的探索所揭示的那样。研究发现，仅依赖日志数据可能会导致模型在表面上表现良好，但在实际应用中却失败。这凸显了除了简单的奖励信号之外，还需要更强大的评估指标来确保模型的可靠性。