实体
DSGym
DSGym
PulseAugur coverage of DSGym — every cluster mentioning DSGym across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 4
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 4 条
-
新的“进程 Sidecar”方法允许精确撤销语言模型的记忆
研究人员推出了一种名为“进程 Sidecar”的新颖方法，用于在安全训练后撤销语言模型中的学习信息。该技术旨在精确删除特定记忆，而不会像简单的减法方法那样负面影响模型的安全能力。该方法在新的 arXiv 论文中进行了详细介绍，使用了双系数编辑家族，并与标准任务算术相比，在多个模型上显示出改进的拒绝关闭率。
-
AI代理将在世界博览会上协作进行开放科学
AI.Engineer 世界博览会将举办关于AI代理协作进行开放科学的讨论。具体来说，James Zou将展示EinsteinArena和DSGym的工作，重点关注多智能体数学发现和改进数据科学代理的评估方法。
-
新的评分系统增强了对AI数据分析代理的评估
研究人员开发了一种新颖的三层评分级联方法来评估代理式数据分析系统，由于其丰富的输出，这类系统比标准的LLM响应更复杂，也更难评估。该系统结合了严格的正则表达式匹配、基于LLM的宽松评分以及人工检查，以区分真正的分歧和评分伪影。所提出的方法通过自动评分器实现了100%的精确率和97%的召回率，并通过迭代式提示机制显著提高了评分成功率。
-
DSGym框架标准化数据科学代理的评估和训练
研究人员推出DSGym，一个旨在标准化数据科学代理评估和训练的新框架。该系统通过提供统一的API和独立的执行环境，解决了当前基准测试的局限性，确保了公平的比较，并使代理能够利用底层数据。DSGym整合了现有基准测试，并为生物信息学和机器学习竞赛引入了新数据集，通过训练一个拥有40亿参数的模型达到开源代理中的最先进性能，展示了其效用。