mini-SWE-v2
PulseAugur coverage of mini-SWE-v2 — every cluster mentioning mini-SWE-v2 across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI模型性能受测试框架影响大，而非模型本身
DeepSeek近期发布的V4.1-Flash-1017模型引发了关于基准测试性能的争论，一些人庆祝其高分，另一些人则要求评估方法的透明度。核心问题在于“测试框架”或用于测试的脚手架的显著影响，这会夸大或低估模型的报告分数。Emma Intelligence是一家专注于通过先进脚手架提高模型性能的公司，它通过展示其emma-scaffold-v3如何在特定基准套件上将Gemini Flash 4的分数提升至100%，来证明了这种效应，…
-
DeepSeek V4.1-Flash-1017 以更短的输出提供基准提升，API 价格不变
DeepSeek 发布了 V4.1-Flash-1017，这是其 V4.1-Flash 模型的更新版本，该模型在 MIT 许可下可用。新版本在 11 项基准测试中表现出性能提升，提升幅度从 2.0 到 11.1 分不等，据报道，它能以更短的输出来更快地完成任务。尽管有这些增强功能，API 定价保持不变，但文章指出，高峰时段和缓存使用等因素会显著影响代理任务的总成本，可能超过因输出长度缩短而节省的费用。
-
DeepSeek V4.1 Flash 1017 模型在编码基准测试中表现强劲
DeepSeek 发布了 V4.1 Flash 1017，这是一个开源模型，拥有 1M 的 token 上下文窗口和 763B 参数。这一迭代在十一个基准测试中显示出显著的改进，尤其是在编码任务中，它在 DeepSWE 上取得了 77.0 分，超过了 Opus 5 和 GPT-5.6 Sol 等模型。该模型在智能体任务和视觉能力方面也表现出色，使其成为复杂逻辑推理和跨文件代码生成的有力竞争者。