Gemini 3.1-pro-preview
PulseAugur coverage of Gemini 3.1-pro-preview — every cluster mentioning Gemini 3.1-pro-preview across labs, papers, and developer communities, ranked by signal.
- 2026-06-01 product_launch Gemini 3.1 Pro Preview is highlighted for its ability to directly transcribe audio input. 来源
4 天有情绪数据
Gemini 3.1 Pro Preview may show inconsistent performance in financial decision-making tasks
The new 1rok benchmark is designed to test LLMs on stock-picking, a task requiring decision-making under uncertainty. While Gemini 3.1 Pro Preview is included, its performance in this domain is untested. Given the benchmark's focus on practical, downstream evaluation beyond traditional benchmarks, Gemini 3.1 Pro Preview could exhibit variability in its ability to consistently select profitable stocks compared to models with more established real-world usage data.
Gemini 3.1 Pro Preview struggles with complex IT incident diagnosis
The recent ITBench-AA benchmark, which evaluates frontier AI models on enterprise IT tasks like SRE, shows that even advanced models are scoring below 50% on diagnosing Kubernetes incidents. Gemini 3.1 Pro Preview's performance in this specific area, while not explicitly detailed in the provided evidence, is likely to be impacted given the general struggles observed across frontier models with root-cause analysis and avoiding false positives in complex scenarios.
Gemini 3.1 Pro Preview passes initial safety audits for code sabotage
Recent AI safety audits utilizing environment blueprints for more realistic evaluations have tested Gemini 3.1 Pro Preview for code sabotage. The results from these 160 trials indicated no egregious scheming behavior, suggesting that the model is currently robust against this specific type of malicious action under these audited conditions.
Gemini 3.1 Pro Preview may lag in real-world adoption compared to GPT-5 models
Given that AgentTape ranks models by usage and GPT-5 models are currently dominating, and considering Gemini 3.1 Pro Preview's participation in new, specialized benchmarks (ITBench-AA, 1rok) without clear leadership, it's plausible that Gemini 3.1 Pro Preview's real-world adoption is currently lower than that of leading GPT-5 models. Future usage data from indices like AgentTape will be key to verifying this.
Gemini 3.1 Pro Preview shows mixed results in specialized benchmarks
While Gemini 3.1 Pro Preview was tested for code sabotage in AI safety audits and performed adequately, it has not yet demonstrated top-tier performance in newly released benchmarks like ITBench-AA or 1rok, which focus on enterprise IT tasks and stock-picking respectively. This suggests Gemini 3.1 Pro Preview may have specific strengths but is not universally outperforming competitors like GPT-5.5 across all emerging, practical evaluation domains.
-
Google 的 Gemini 3.5 Flash 在 Android 基准测试中表现不佳；Pixel 更新功能泄露
Google 无意中泄露了其 Pixel 更新的即将推出功能，包括用于创建反应视频的“屏幕反应”以及用于 AI 驱动的多媒体内容生成的 Gemini Omni。另外，新的 Gemini 3.5 Flash 模型在 Android Bench 基准测试中的表现不佳，得分低于其前代产品，并且使开发者的成本显著增加。
-
ChatGPT 市场份额跌破 50%，用户转向竞争对手 · 跟踪 1 个来源
ChatGPT 的市场份额首次跌破 50%，用户正转向 Google 的 Gemini、Anthropic 的 Claude 和 xAI 的 Grok 等替代品。在另一项进展中，Vercel 发布了开源代理框架 'eve'，旨在处理 AI 代理的生产问题，以及用于安全运行时凭证交换的 Beta 功能 'Connect'。此外，一项比较 Kimi K2.7 Code 和 Claude Fable 5 的实验表明，Kimi 在生成登陆页面…
-
新方法利用跨模型分歧提高视频问答准确性
研究人员开发了一种名为基于分歧的跨模型路由的新型推理时过程，以提高视频问答的准确性。该方法利用主要视频模型 Gemini 3.1 Pro Preview 的输出差异来识别其响应不同的挑战性问题。然后，这些已识别的问题将被路由到辅助模型 Claude Opus 4.8 进行进一步处理。该技术在 ImplicitQA 基准测试中显示出显著的改进，特别是在需要复杂推理和跨镜头解析的类别中。
-
Gemini 3.5 Flash 在 Android 基准测试中表现令人失望，成本高于前代产品
Google 的新 Gemini 3.5 Flash 模型在 Android 开发基准测试中的表现不如其前代产品 Gemini 3.1 Pro Preview。该模型每次执行的成本也显著更高，据报道约为 147 美元，使其成为 Android 开发人员不太经济的选择。尽管 Google 将 Gemini 3.5 Flash 定位为一个强大而快速的模型，但其在特定 Android Bench 上的表现引发了对其在该特定领域效率和价值主张的质疑。
-
研究发现AI模型性能高度依赖提示方法
发表在arXiv上的一项新研究表明，AI模型的提示方式或“脚手架”对其测量性能有显著影响。研究人员发现，仅脚手架的选择就可能使模型的准确率改变高达28个百分点。与预期相反，能力更强的模型不一定对脚手架不敏感，一些先进模型从结构化提示中获得了更大的收益。研究结果表明，当前的性能评分可能过度依赖于所使用的特定提示方法，而未能完全反映模型固有的能力。
-
新的KINA基准测试显示Gemini 3.1 Pro排名最高，超越Claude和GPT-5
一项名为KINA的新基准测试被引入，用于评估大型语言模型在261个细粒度学科上的表现，解决了规模驱动设计和标注质量的问题。该基准测试包含899个项目，用于评估来自13个不同实验室的42个模型。Gemini-3.1-Pro-Preview以53.17%的得分成为表现最佳的模型，其次是Claude-Opus-4.6和GPT-5.4，这表明所有模型都有很大的改进空间。
-
LLM约束注入方法提高了优化建模的准确性
研究人员开发了一种名为约束注入的新方法，以改进大型语言模型处理复杂优化问题的方式。该技术解决了LLM在其代码中错误地添加或省略约束的问题，这可能导致解决方案有缺陷。该方法使用名为VRPCoder的模型对车辆路径问题进行了测试，成功率达到93%，并且优于现有的LLM。
-
Gemini 3.1 Pro Preview 通过 API 提供直接音频转录功能
一篇指南详细介绍了如何使用 AI 模型进行音频转录，区分了语音识别和文本后处理。它强调了 Google 的 Gemini 3.1 Pro Preview 模型能够直接处理音频输入以生成文本转录。文章解释说，这种多模态能力结合大型上下文窗口，可以在单个请求中实现即时摘要和任务提取。
-
新基准测试大型语言模型生成科学假设的能力
一个名为 ProjectionBench 的新基准已被开发出来，用于评估大型语言模型生成科学假设的能力。该框架逐步披露研究论文中的信息，允许模型在每个阶段生成假设。该基准用于评估 GPT-5.4、GPT-5、Gemini 2.5 pro 和 Gemini 3.1 pro preview 在 45 篇论文上的表现。结果表明，GPT-5.4 和 Gemini 3.1 pro 的性能优于其前代模型，其中 GPT-5.4 在信息有限的情况下仍…
-
前沿AI模型未能通过新的IT基准测试，得分低于50%
一项新的基准测试ITBench-AA已发布，用于评估前沿AI模型在企业IT任务（特别是站点可靠性工程SRE）方面的能力。在初步测试中，即使是Claude Opus 4.7和GPT-5.5等最先进的模型，在诊断Kubernetes事件方面的得分也低于50%。该基准测试显示，模型在根本原因分析方面存在困难，并且更长的调查轨迹不一定会带来更高的准确性，有些模型会过度调查并识别出假阳性。
-
新的ATLAS基准揭示了长上下文LLM性能的变化
一个名为ATLAS的新基准测试框架已被引入，以更全面地评估语言模型的长上下文能力。与以往通常报告单一分数或狭窄任务性能的方法不同，ATLAS在各种长度和任务类型中分析能力，识别上下文窗口大小增加时可能出现的性能崩溃。该框架利用分层分类法和长度感知评分来提供对模型性能更细致的理解，揭示了基于上下文长度的显著排名变化。
-
使用环境蓝图改进 AI 安全审计
研究人员开发了一种新的流程来生成环境蓝图，以进行更真实、更一致的 AI 安全审计。该方法使用 Petri 审计器对 Gemini 3.1 Pro Preview 进行代码破坏评估。结果表明，与基线审计相比，蓝图增强的审计更真实、更一致，在 160 次试验中未检测到明显的方案行为。
-
AgentTape 指数根据使用情况而非仅基准测试对 AI 模型进行排名
一个名为 AgentTape 的新开源索引根据基准测试性能、实际使用情况、成本和速度的组合对 AI 模型进行排名。目前，OpenAI 的 GPT-5 模型在排名中占据主导地位，其中 GPT-5.5 在质量基准测试中表现出色，但由于其新颖性和价格，在采用方面落后。该指数旨在提供比理论基准测试更全面的模型性能视图，反映实际效用。
-
LLM基准1rok让GPT-5.5、Gemini 3.1、Grok 4.3展开股票选股竞赛
一个名为1rok的新基准已被推出，用于评估前沿大语言模型（LLM）的股票选股能力。该基准为每个参与的LLM分配10万美元的虚拟投资组合，并要求它们每周选择股票，同时跟踪相对于市场结果的表现。这项举措旨在提供对LLM比传统编码和推理基准更实用的下游评估，侧重于不确定性下的决策。
-
新基准CiteVQA揭示LLM中的“归因幻觉”
研究人员推出了CiteVQA，这是一个旨在评估多模态大语言模型（MLLM）将答案准确归因于文档内特定源区域能力的新基准。与仅对最终答案评分的先前评估不同，CiteVQA要求模型在答案旁边提供元素级边界框引用，联合评估两者。该基准包含711个PDF文件中的1897个问题，揭示了一个被称为“归因幻觉”的重大问题，即模型经常提供正确的答案但引用错误的证据，这凸显了当前文档智能系统中存在的关键可靠性差距。
-
AI实验室转向代理产品，Amidst DeepSeek降价
研究人员开发了一个基准来测试大型语言模型处理法律法规时间变化的能力，识别出信息过时和新近度偏差等问题。与此同时，AI行业正经历重大转变，模型实验室越来越专注于构建基于代理的产品，而不仅仅是基础模型。AI21和DeepSeek等公司是这种战略转变的典范，而DeepSeek对其V4-Pro模型的激进定价策略进一步凸显了这一点，使得先进AI更易于获得。
-
[GRPO 详解] DeepSeekMath：推动开放语言模型数学推理能力的极限
研究人员正在开发新的基准和评估方法，用于大型语言模型（LLMs）在数学推理和教育评估方面的能力。新的数据集如 ESTBook 和 Math-PT 旨在超越简单的准确性，专注于教学推理和减少语言偏见。其他研究探讨了自洽性和推理努力对自动评分的影响，研究结果表明战略性模型选择可以优化准确性和成本。此外，正在创建 MaSTer 等框架，以自动生成对抗性测试用例，用于评估和改进 LLM 的鲁棒性。