lforla
PulseAugur coverage of lforla — every cluster mentioning lforla across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
DeepSeek-V4.1-Flash-1017 发布，拥有100万上下文窗口，Haiku 5.5 成本控制，以及 LFORLA 评估详情
多项与AI相关的进展正在涌现，包括DeepSeek-V4.1-Flash-1017模型，它提供了100万token的上下文窗口和MIT许可证，在Terminal-Bench基准测试中显示出显著的改进。另外，一种新的TypeScript保护机制已被开发出来，用于管理与大型提示相关的成本，特别指出Haiku 5.5对超过10万token的提示收费是原来的五倍。此外，LFORLA正在详细介绍其LLM评估方法，重点是通过固定的提示、裁判和评分…
-
New LFORLA benchmark tests LLMs on election forecasting accuracy
一个名为 LFORLA 的新基准已被开发出来，用于评估大型语言模型（LLMs）预测选举结果的能力。该基准要求模型对未来的选举结果做出具体预测，例如2027年法国总统大选和2026年美国中期选举，而不是提供模糊的观点。然后，一个固定的裁判模型根据预测的明确性、相关背景的依据以及置信度的校准来评估这些预测，并将分数发布在排行榜上。
-
HY3模型在偏见和刻板印象审计中以微弱优势胜过Nemotron 3 Ultra
lforla最近使用偏见刻板印象基准进行的审计显示，HY3模型以微弱优势优于Nemotron 3 Ultra。HY3的得分为82.9，而Nemotron为81.7，这主要归功于在文化偏见和默认生成类别中的卓越表现。虽然Nemotron在双重标准和交叉性等方面表现出色，但HY3在文化偏见方面获得满分，使其成为服务于全球受众的应用程序的有力竞争者。
-
Nemotron 3 Ultra 以 90.87 分领跑新 AI 招聘基准测试
由 lforla 开发的新的团队招聘（Oracle）基准测试，评估 AI 代理查询简历数据库并组建符合特定标准的团队的能力。目前，排行榜上有来自 opencode-zen 的两个免费模型：Nemotron 3 Ultra，得分 90.87；HY3，得分 83.1。该基准测试不同于静态知识测试，它模拟了一个动态工作流程，要求代理规划查询、解释结构化数据并在约束条件下做出决策，旨在根据结果质量评估性能。