PulseAugur
中
实时 22:26:58
English(EN) Same Text, Different Numbers: The Divergence of LLM-Based Measures

基于大语言模型的公司文本分析显示出显著的模型分歧

arXiv上发表的一项新研究强调,不同的(LLM)在解释和量化公司文本方面存在显著差异。研究人员发现,来自不同供应商的七个LLM在分析S&P 500公司财报电话会议记录中的情绪、管理层清晰度和其他因素时,一致性较低(平均排名相关性为0.52)。这种分歧表明,LLM生成的度量标准高度依赖于模型,并且可能显著改变对公司披露和市场认知的后续推断。该研究建议跨多个供应商验证LLM派生的变量,以确保可靠性。 AI

影响 由于存在显著的模型特定偏差,强调了在金融分析中仔细验证LLM生成数据的重要性。

排序理由 该集群包含一篇在arXiv上发表的研究论文,详细介绍了LLM性能的发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

基于大语言模型的公司文本分析显示出显著的模型分歧

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Hamid Boustanifar, Sasan Mansouri ·

    相同文本,不同数字:基于LLM的度量标准的差异

    arXiv:2609.31013v1 Announce Type: new Abstract: Researchers increasingly use generative large language models (LLMs) to convert corporate text into empirical variables. We examine the extent to which LLM-based textual measures are invariant to model choice using thirteen measures…