HarnessDev
PulseAugur coverage of HarnessDev — every cluster mentioning HarnessDev across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架评估视觉语言智能体的物理自我改进能力
研究人员推出了 PhysRSI-eval，这是一个用于量化视觉语言智能体物理递归自我改进的新框架。该框架使用一个五轴指标来评估 18 项操作任务中的性能、效率、成功率、预算和从失败中改进的情况。该研究还提出了物理瓶颈假说，认为不同的能力可能限制改进的不同方面，并探索了观察性标度律，以根据公开能力和早期反馈来预测智能体的性能。
-
字节跳动HarnessDev基准测试，评估LLM构建代理代码的能力
来自字节跳动Seed及其他机构的研究人员推出了HarnessDev，这是一个旨在评估LLM创建自身代理工具链能力的新基准。与固定工具链的传统基准不同，HarnessDev评估的是LLM自身生成的工具链代码的质量。初步结果表明，虽然LLM可以改进它们的工具链，但只有一部分改进能够泛化到不同的任务中，这表明完全自主改进的代理仍然是一个重大挑战。
-
LLM智能体探索自我进化与代码生成
研究人员正在探索增强LLM智能体能力的新颖方法。一种方法涉及开发一种称为过程图（Procedural Graphs）的自我进化执行结构，以创建更动态和适应性强的AI智能体。另一个重点领域是创建可由LLM自身构建的智能体框架，这可能导致更自主和复杂的AI系统。此外，扩散模型的进步使LLM能够更有效地生成代码，像PlaidQ这样的项目展示了单步代码编写能力。
-
开放权重模型取得进展，Agent工程在研究和教育领域获得关注
近期AI新闻重点关注开放权重模型和Agent工程的进展。DeepSeek V4 Flash Vision权重现已开放，提供可与领先模型媲美的视觉能力。GLM-5.3 Flash在Agent基准测试中表现强劲，成功率和成本效益显著。腾讯的Hy4 Preview，一个大型MoE模型，在Agent能力和稳定性方面也显示出显著进展。在教育领域，斯坦福大学正通过新课程正式推进AI原生软件工程，重点关注Agent构建和面向系统的开发，超越了简单的提示。