Autodata
PulseAugur coverage of Autodata — every cluster mentioning Autodata across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的代理式系统可自动选择用于大型语言模型的预训练数据
研究人员开发了AutoData，一个代理式系统，旨在自动选择用于大型语言模型的预训练数据。该代理将数据选择视为一个启发式工程问题，直接搜索利用词汇统计和困惑度等文档特征的可执行算法。AutoData根据代理模型的验证反馈迭代地改进这些算法，在单晚搜索中发现了一种数据选择方法，该方法优于人类设计的策展流程。所发现的方法在大规模应用中也显示出有效性，并改进了下游指标。
-
Meta 推出 Autodata AI 框架用于合成数据生成
Meta 推出了 Autodata，一个由 AI 代理扮演数据科学家来生成高质量合成数据的框架。该方法旨在简化 AI 开发的数据创建过程。
-
40亿参数模型通过更智能的数据生成超越3970亿参数基线模型
Meta FAIR开发的一种名为Autodata的新方法表明，一个参数量显著更小的40亿模型在特定任务上可以超越一个参数量大得多的3970亿模型。这种改进并非通过架构更改实现，而是通过优化数据生成过程。Autodata使用一个带有多个子代理的协调器代理来创建精确校准目标模型学习能力的训练数据，确保难度平衡，从而促进有效的梯度下降。
-
Meta AI 使用代理动态生成合成训练数据
Meta AI 开发了一种名为 Autodata 的新方法来生成合成训练数据，该方法采用 AI 代理充当数据科学家。该代理以 Agentic Self-Instruct 的形式实现，通过规划和工具使用来持续构建和完善训练和评估数据集。这种元优化过程使数据生成管道能够随着时间的推移而改进，在包括法律推理和数学在内的各种领域都优于传统的静态合成数据方法。