一篇新发表在arXiv上的研究评估了大型语言模型（LLM）作为数据标注员的有效性，重点关注葡萄牙的国家模型AMALIA。AMALIA是一个拥有90亿参数、针对欧洲葡萄牙语的模型，在编码道德基础方面与人类编码员的达成度具有竞争力。然而，研究表明它可能依赖于表面相关性而非理论建构。当提示被分解时，AMALIA的表现显著下降，表明它并未完全理解潜在的理论。研究得出结论，虽然AMALIA可以协助大规模预编码，但它尚未达到独立标注复杂建构的可靠性，这凸显了需要评估推理过程而非仅仅达成度的基准。 AI
影响 强调了在可靠的数据标注中，需要对LLM进行超越简单达成度指标的更深层次验证。
排序理由 该集群包含一篇详细介绍LLM能力研究结果的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.08731v1 Announce Type: cross Abstract: A national language model offers a linguistic community its own instrument for measuring what its citizens say and value. Portugal's AMALIA, a publicly funded 9B-parameter model for European Portuguese, appears competitive on agre…
A national language model offers a linguistic community its own instrument for measuring what its citizens say and value. Portugal's AMALIA, a publicly funded 9B-parameter model for European Portuguese, appears competitive on agreement alone: asked to code the moral foundation of…