English(EN) Two years of pelicans on bicycles: 103 SVGs, 66 models, and what the guy who invented the benchmark says about it

LLM基准测试：自行车上的鹈鹕展示了两年来的快速进展

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-17 07:24

在过去的两年里，Simon Willison 使用了一个独特的基准测试来追踪大型语言模型的进展：生成一个骑自行车的鹈鹕的SVG。最初，模型在处理这项任务时很困难，生成抽象的形状和无意义的解释。然而，到2025年中期，DeepSeek R1和Nvidia的产品等模型显示出显著的改进，有些甚至开始“编辑化”，拒绝提示或添加创意元素。一场使用GPT-4.1 mini作为裁判的比赛揭示了Gemini 2.5 Pro预览版在代码生成和图像合成方面表现出色，凸显了LLM能力的快速发展。 AI

影响展示了LLM在代码生成和细致任务解释方面的快速进展，可能影响未来的基准测试设计。

排序理由该项目描述了一个新颖的LLM评估基准测试，并追踪了其随时间的进展，包括具体的模型性能和演变。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 30 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个新颖的LLM评估基准测试，并追踪了其随时间的进展，包括具体的模型性能和演变。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Zhengxin · 2026-09-17 07:24

两年的自行车鹈鹕：103个SVG，66个模型，以及发明基准测试的人对此有何看法

In October 2024, Simon Willison gave sixteen LLMs the same eight words: <blockquote> Generate an SVG of a pelican riding a bicycle. </blockquote> He has been running it on every new model since. Twenty-three months later there are 103 of these drawings scattered …

本文如何被排名

报道来源 [1]

两年的自行车鹈鹕：103个SVG，66个模型，以及发明基准测试的人对此有何看法

相关实体

相关话题