Self Control

研究：LLM在分析歌词方面的可靠性参差不齐

一项新研究发布在arXiv上，探讨了使用大型语言模型（LLM）进行文化分析的可靠性，特别是考察它们在标注英文歌词以分析社会建构方面的能力。该研究评估了五种LLM在测量自尊、自控、归属感寻求和认可寻求方面的一致性。研究结果表明，LLM的可靠性因建构而异，自尊的测量最为稳定，而认可寻求则不太一致。研究表明，虽然LLM生成的标签包含可用于下游分类的有用信号，但在这些标注被接受为文化分析中的可扩展测量之前，报告重复测量稳定性和跨模型收敛性至关重要。