Enron Emails

新的Slop指数为AI模型评分“AI程度”

一项名为Slop Composite Index的新指标已被开发出来，用于评估大型语言模型的“AI程度”。该指数通过让39个前沿模型完成各种任务（如撰写冷邮件和推文）来评估它们。然后，通过人类评估者和将其与2022年之前的真人文本（包括安然邮件和旧推文）进行比较的组合来对输出进行评分。令人惊讶的是，结果表明，更大、更先进的模型往往比更小、成本更低的模型的“slop”或人工痕迹更多，常见的扣分项包括模板化的开头、重复的结构和过多的连字符。