PerceptionBench
PulseAugur coverage of PerceptionBench — every cluster mentioning PerceptionBench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Thinking Machines Lab 发布 Inkling 2 Small MoE 模型
Thinking Machines Lab 推出了 Inkling 2 Small，一个拥有 5940 亿参数、170 亿活跃参数的混合专家（MoE）模型。这个多模态模型接受文本和图像输入，并支持 100 万个 token 的上下文窗口。它在 SWE-Bench Pro V2 和 PerceptionBench 等各种基准测试中表现出色，可通过 Tinker API 获取。
-
新的 LBS 模型训练视觉语言模型进行主动视觉观察
研究人员开发了一种名为 LBS（Look Beyond Screens）的新方法，用于训练视觉语言模型执行主动的、面向任务的视觉观察。该方法使用 GUI 基础轨迹作为空间监督的来源，最初通过监督微调，然后通过强化学习进行多轮检查决策。使用 LBS 训练的模型，包括基于 Qwen3.5-35B-A3B 和 Qwen3.8-27B 的模型，在 PerceptionBench、HR-Bench 和 ChartQAPro 等基准测试中表现出改…
-
GitHub 上增长最快的 AI 项目在近期报告中被重点介绍 · 跟踪了 10 个来源
几个开源 AI 项目正在获得显著的关注，这从它们的增长分数和在 GitHub 上不断增加的星标可以看出。这些项目涵盖了各种类别，包括腾讯的 WeMM-Embedding 等多模态嵌入模型，Human-Agent-Society/reef 和 useagenthq/useagent 等 AI 代理框架，以及用于图像生成和代码辅助等任务的专用工具。报告强调了对自托管知识平台和 AI 同事日益增长的兴趣，反映了对更易于访问和可定制的 AI …
-
新PerceptionBench揭示AI模型无法通过基础视觉感知测试
一项名为PerceptionBench的新基准测试显示，即使是顶尖的AI模型在基础视觉感知任务上也表现不佳，准确率未能达到60%。该基准由Moonshot AI开发，旨在测试多模态AI模型独立于逻辑推理能力解释图像的能力。结果表明，许多AI中所谓的推理错误可能实际上源于图像解释方面的根本问题。
-
Moonshot PerceptionBench 教程详解多模态模型评估
本教程概述了使用 Moonshot 的 PerceptionBench 评估多模态视觉模型的过程。指南详细介绍了环境设置、使用流式策略加载平衡数据集以及处理图像以进行分析。它还涵盖了构建支持多种后端（包括 OpenAI 的 API 和本地 Hugging Face 模型）的评估框架，并实现了基于规则和 LLM 辅助的评判机制。