English(EN) A Repeated-Measurement Study for Cultural Analytics of English Song Lyrics Using Five Large Language Models

研究：LLM在分析歌词方面的可靠性参差不齐

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-07 04:00

一项新研究发布在arXiv上，探讨了使用大型语言模型（LLM）进行文化分析的可靠性，特别是考察它们在标注英文歌词以分析社会建构方面的能力。该研究评估了五种LLM在测量自尊、自控、归属感寻求和认可寻求方面的一致性。研究结果表明，LLM的可靠性因建构而异，自尊的测量最为稳定，而认可寻求则不太一致。研究表明，虽然LLM生成的标签包含可用于下游分类的有用信号，但在这些标注被接受为文化分析中的可扩展测量之前，报告重复测量稳定性和跨模型收敛性至关重要。 AI

影响强调了在文化分析中严格验证LLM输出的必要性，影响了研究人员如何使用AI进行文本标注。

排序理由该集群包含一篇发布在arXiv上的研究论文，详细介绍了LLM能力的研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 32 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇发布在arXiv上的研究论文，详细介绍了LLM能力的研究。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · E. Cho Smith, Samuel Ho, Dawn Laux · 2026-09-07 04:00

使用五种大型语言模型对英文歌曲歌词进行文化分析的重复测量研究

arXiv:2609.04428v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used to annotate cultural texts at scales that are impractical for human coders. However, before their outputs are treated as measurements of latent social constructs, it is necessary to…

本文如何被排名

报道来源 [1]

使用五种大型语言模型对英文歌曲歌词进行文化分析的重复测量研究

相关实体

相关话题