研究人员开发了PReSS，一个旨在评估大型语言模型（LLMs）政治立场稳定性的自动化框架。与仅将偏见归类为左倾或右倾的先前方法不同，PReSS考虑了意识形态倾向在不同主题上的变化程度以及模型保持其立场的持续性。该框架将响应分为四种类型：稳定左倾、不稳定左倾、稳定右倾和不稳定右倾。将PReSS应用于19个政治主题的九个广泛使用的大型语言模型后，发现立场稳定性存在显著差异，表明模型的整体倾向并不能预测其在特定问题上的行为。研究表明，去偏见或意识形态反转等干预措施应考虑到这种稳定性，因为不稳定的立场比稳定的立场更容易被修改。 AI
影响 该框架可能导致对大型语言模型偏见的更细致评估，并为政治敏感应用的更好对齐策略提供信息。
排序理由 该集群包含一篇详细介绍评估大型语言模型新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
