PulseAugur
中
实时 16:37:39
中文(ZH) 给 AI 的“AI 味”打分，这事真有人认真做了。 The Slop Index 让 39 个前沿模型写同一批任务（冷邮件、推文、随笔都有），再两路评分：40% 真人盲投，60% 拿 2022 年前的人类文本当尺子——Enron 邮件、旧推文、老 Discord 记录。全程没有 LLM 评 LLM。 结果有点反直觉：旗

新的Slop指数为AI模型评分“AI程度”

作者 PulseAugur 编辑部 · [1 个来源] ·

一项名为Slop Composite Index的新指标已被开发出来，用于评估大型语言模型的“AI程度”。该指数通过让39个前沿模型完成各种任务（如撰写冷邮件和推文）来评估它们。然后，通过人类评估者和将其与2022年之前的真人文本（包括安然邮件和旧推文）进行比较的组合来对输出进行评分。令人惊讶的是，结果表明，更大、更先进的模型往往比更小、成本更低的模型的“slop”或人工痕迹更多，常见的扣分项包括模板化的开头、重复的结构和过多的连字符。 AI

影响 这项新指标可能会影响AI模型的开发和评估方式，并可能带来更自然的AI输出。

排序理由 该集群描述了一项新的评估指标及其对LLM的结果，这构成了研究。[lever_c_从研究降级：ic=1 ai=1.0]

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的Slop指数为AI模型评分“AI程度”

本文如何被排名

Signal score
18 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群描述了一项新的评估指标及其对LLM的结果，这构成了研究。[lever_c_从研究降级：ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
product, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 中文(ZH) · mini24 ·

    为AI的“AI程度”打分：有人真的当真了。Slop Index让39款尖端模型撰写同一批任务（包括冷邮件、推文和论文），然后通过两种方式进行评分：40%为盲人投票，60%使用2022年前的人类文本作为标尺——安然邮件、旧推文、旧Discord记录。没有LLM对LLM进行评分。结果有点违反直觉：Flag

    给 AI 的“AI 味”打分，这事真有人认真做了。 The Slop Index 让 39 个前沿模型写同一批任务（冷邮件、推文、随笔都有），再两路评分：40% 真人盲投，60% 拿 2022 年前的人类文本当尺子——Enron 邮件、旧推文、老 Discord 记录。全程没有 LLM 评 LLM。 结果有点反直觉：旗舰模型普遍比便宜小模型更“油”，模板开头、三连结构、滥用破折号全都扣分。 4.3 万条原始输出和评分代码都在 GitHub 开源，也能去它的 arena 亲手投几票。 # AI # LLM

相关实体

相关话题