closed-weight models
PulseAugur coverage of closed-weight models — every cluster mentioning closed-weight models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新arXiv论文探讨AI模型蒸馏的经济学
一篇来自arXiv的新论文探讨了生成式AI领域中模型蒸馏的经济学含义。该研究分析了小型公司如何利用来自大型、闭源模型的（数据）来以更低的成本训练自己的模型。研究调查了市场结果，包括用户盈余和现有公司的利润，并提出了诸如基于惩罚的监管等干预措施，以阻止蒸馏攻击。或者，现有公司可以采用自我蒸馏作为一种缓解策略，以维持市场竞争和用户盈余。
-
新的 BioStudyBench 基准测试 AI 代理在知识截止日期后的生物医学研究能力
一个名为 BioStudyBench 的新基准已被开发出来，用于评估 AI 代理在知识截止日期后复制生物医学研究结果的能力。该基准包含 25 项任务，源自 PubMed 记录，要求代理在无法访问截止日期后信息的情况下，查找和分析公共数据及搜索文献。结果表明，访问数据和工具可显著提高代理性能，平均将通过率提高了 47 个百分点。然而，开放权重模型普遍表现不如封闭权重模型，最好的开放权重模型通过率为 81.3%，而最好的封闭权重模型通过率…
-
新基准评估LLM在论文引用问答上的表现
研究人员推出了ResearchQA，一个旨在评估大型语言模型在基于科学论文回答问题方面的能力的新基准，同时确保答案有可验证的引用支持。该基准包含跨越不同领域和问题类型的6000多个问答对，特别奖励当论文不支持答案时的基于引用的拒绝。对八个领先模型的评估表明，基于引用的指标比基于LLM的评分标准更能有效地区分模型性能，开放权重模型在引用准确性方面表现具有竞争力，并且与闭源模型相比延迟显著降低。