Gemini Pro 3
PulseAugur coverage of Gemini Pro 3 — every cluster mentioning Gemini Pro 3 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现，LLM评分的有效性取决于任务结构，而非模型能力
一篇新发表在arXiv上的研究调查了使用大型语言模型（LLM）作为物理评估自动评分器的有效性。研究发现，LLM的性能高度依赖于具体任务，在结构化问题和基于代码的绘图元素上，模型与人类评分者表现出高度一致性。然而，LLM在评分论述题时表现不佳，与人类评估者相比，评分更严苛且变数更大，即使有评分标准，其对响应质量进行排名的能力仍然很低。研究得出结论，LLM在评估中的有效性比模型的原始能力更依赖于任务的结构和人类基准的可靠性。
-
AI联合科学家自动化研究循环，提升搜索排名性能
研究人员开发了一个AI联合科学家框架，该框架集成了LLM代理和直接的云计算访问，以自动化搜索排名系统的研究循环。该框架采用混合代理架构，使用单LLM代理处理常规任务，并使用多LLM共识做出关键决策，涉及GPT-5.2、Gemini Pro 3和Claude Opus 4.5等模型。该系统在Transformer基线之上额外实现了0.083%的提升，为旅游平台的搜索排名性能带来了0.201%的总离线改进。AI联合科学家还识别并提出了自然…
-
Andrej Karpathy 使用 Anthropic 的 Claude Opus 4.5 自动评分 Hacker News 讨论
Andrej Karpathy 开发了一个工具，该工具使用 LLM 分析十年前的历史 Hacker News 讨论。通过将文章内容和评论线程输入到 Opus 4.5 等模型中，系统可以利用事后诸葛亮的优势评估过去预测和评论的先见之明。该项目可在 GitHub 上找到，旨在提供历史见解，同时也警示未来对当前在线行为的审查。