实体
BLUEX v2
BLUEX v2
PulseAugur coverage of BLUEX v2 — every cluster mentioning BLUEX v2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的 BLUEX v2 基准测试评估大型语言模型在复杂的巴西大学考试问题上的表现
研究人员推出了 BLUEX v2，这是一个更新的基准测试，旨在评估大型语言模型 (LLM) 在巴西大学入学考试的开放式问题上的表现。新版本通过纳入 UNICAMP 和 USP 第二阶段考试中的问题，扩展了原始 BLUEX，这些问题需要自由形式的书面回答。该数据集包含 395 个问题，附带图像、学科领域、参考答案和认知能力标签，并已用于测试 21 个最先进的大型语言模型。结果显示，在 0-10 的评分尺度上，性能差异接近 5 分，其中数…
-
新的 BLUEX v2 基准测试，用于评估大语言模型在复杂的葡萄牙语大学考试问题上的表现
研究人员开发了 BLUEX v2，这是一个新的基准测试，旨在评估大语言模型 (LLM) 在葡萄牙语开放式问题上的表现，这些问题专门来自巴西顶尖大学 UNICAMP 和 USP 的第二阶段入学考试。该数据集包含 2022-2025 年的 395 个问题，其中有 919 个带评分的子问题，超过一半的问题附带图像。在对 21 个最先进的大语言模型进行测试时，观察到 4.92 分的性能差距，其中数学推理和图像理解被证明是模型最具挑战性的领域。