SRE-Bench
PulseAugur coverage of SRE-Bench — every cluster mentioning SRE-Bench across labs, papers, and developer communities, ranked by signal.
-
新的SRE-Bench基准测试评估LLM在逆向工程二进制文件方面的能力
一篇新的研究论文介绍SRE-Bench，这是一个旨在评估大型语言模型（LLM）在二进制代码逆向工程能力方面的基准测试。该基准测试旨在评估LLM在理解和分析已编译软件方面的能力，这是一项需要专业知识的复杂任务。
-
新的AI编码基准测试可检验深度软件工程能力
新的编码基准测试正在涌现，旨在超越传统指标，检验AI在软件工程方面更深层次的能力。Program-Bench要求AI代理根据编译后的二进制文件和文档重建代码，而SRE-Bench则评估AI仅凭二进制文件理解程序功能的能力。代码迁移基准测试用于评估AI在不同语言中重新实现现有程序的能力。早期结果显示，GPT-6 Astra、Fable 5.1和Claude Opus 5等模型在这些挑战性任务上的表现各不相同。
-
GPT-6 Astra 基准测试显示超越 Fable 5.1，用户期待 OpenAI 的进步
用户正在讨论即将推出的 GPT-6 Astra 模型，早期基准测试表明其性能优于 Fable 5.1 和 GPT Sol。GPT-6 Astra 在包括 ARC-AGI-3 和 SRE-Bench 在内的各种基准测试中得分很高，并有望成为 OpenAI 的重大进步。虽然 Fable 5.1 因其高级规划和写作能力而受到赞扬，但用户预计 Astra 将代表一个巨大的飞跃。
-
OpenAI 发布 GPT-6 Astra，宣称具备先进功能和安全性
OpenAI 发布了其最新模型 GPT-6 Astra，该模型现已通过 Pro、Enterprise 和 Business Premium 等不同层级以及通过其 API 和 Amazon Bedrock 向用户提供。该模型被描述为 OpenAI 目前能力最强、最符合要求的模型，达到了网络安全能力的关键水平。虽然 Astra 在编码、视觉理解和处理长上下文等领域表现出色，但一些分析表明，它可能不如之前的模型那么符合要求，并引发了对可监控…
-
新的SRE-Bench基准测试网络安全领域AI的逆向工程能力
研究人员推出SRE-Bench，这是一个新颖的基准，旨在评估AI代理在网络安全领域的逆向工程能力。该基准的独特性在于其真实的规模以及防止数据污染的严格方法，确保AI模型必须真正分析二进制文件，而不是依赖于记忆的源代码。使用SRE-Bench进行的评估显示，包括GPT-5.6-sol在内的当前前沿AI模型在逆向工程任务方面仍然面临重大挑战，这突显了在Agentic网络安全领域未来发展中的关键领域。