Computation and Language
PulseAugur coverage of Computation and Language — every cluster mentioning Computation and Language across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的多模态方法通过多语言文本增强音频情感分析
研究人员开发了一种新颖的多模态音频情感分析方法，该方法集成了语音识别和机器翻译以提高准确性。该方法使用跨模态 Transformer 结合音频特征和自动生成的多语言文本转录。研究表明，引入这些生成的文本模态显著提高了情感极性分类的性能。此外，还采用了知识蒸馏来增强仅音频模型，在不增加推理计算的情况下提高了其效率。
-
研究发现：大型语言模型表征用户意图优于实际行动
研究人员发现，大型语言模型内部对用户沟通意图的表征比其外在行为所显示的更为稳健。尽管模型经常根据表面文本而非潜在意图进行响应，但通过线性探针可以准确地从不同架构模型的隐藏状态中解码出这种意图。这种内部表征比最初看起来更细致，能够泛化到语用推断的意图，并区分不同类型的支持。虽然模型能够可靠地表征意图，但其对意图的实际行动却不一致且因模型而异，这表明是读取（readout）而非表征（representation）方面存在缺陷。
-
新研究探索政治量化联合预测
研究人员在arXiv上发表了一篇论文，探讨了监督式政治量化（一项对分析政治人物意识形态立场至关重要的任务）的方法。该研究调查了联合预测量化模型，而非单独预测，是否能提高性能。它还考察了结合分类和回归技术的混合方法，以改进现有NLP方法的潜力。
-
新框架对具有可控幻觉的大语言模型生成进行建模
研究人员引入了一种新的极限语言生成框架，旨在更好地反映现代大型语言模型的能力和限制。该方法解决了广泛覆盖目标语言与确保生成输出有效性之间的权衡。研究分析了各种约束条件下的生成，包括允许无限数量的错误，只要它们的频率接近于零，这可以在目标语言的某些部分被省略时提高召回率。此外，它还探讨了新颖性约束的连续放松，只要求固定比例的输出是新颖的，从而朝着更现实的语言生成模型迈进。
-
新的多模态数据集增强了学术论文关键词提取能力
研究人员开发了一个新的学术论文关键词提取多模态数据集，包含1000个样本，涵盖文本、图像和音频。该数据集旨在通过整合视觉和听觉信息来解决纯文本方法的局限性。实验表明，结合来自不同模态（包括从图像和音频中提取的文本）的文本，与仅使用文本相比，显著提高了关键词提取性能。
-
新框架从不同文本来源中归纳出层级结构
研究人员开发了一种新的面向术语的框架，用于从不同的文本来源创建可解释的层级分类法。该方法使用自动术语提取将文档映射到共享表示空间，从而实现跨异构语料库的更好泛化。在大型英语和德语基准上的实验表明，与现有基线相比，跨源连贯性和层级质量有所提高，并且案例研究显示了其在技术格局映射中的实用性。
-
新的红队测试框架揭示大型语言模型忠实度漏洞
研究人员开发了一个新颖的红队测试框架，以系统地发现大型语言模型（LLMs）中的漏洞。该框架采用多角色架构，包括目标模型、攻击者模型和评审模型，用于生成对抗性提示并严格评估响应的准确性和一致性。一项案例研究表明，在问答任务中，该方法可以将攻击成功率提高多达7.9%，揭示了大型语言模型在可靠性和忠实度方面存在的显著弱点，尤其是在对摘要任务应用结构化约束时。
-
新方法分解标注任务以提高效率
研究人员提出了一种通过将复杂任务分解为更小的子任务来高效标注结构化数据的新方法。该方法旨在通过隔离显著元素和约束输出空间来减轻人工或模型标注者的推理负担。提出的框架包括任务分解指南和在固定预算内分配子任务以最大化质量的程序，有可能提高标注项目的成本效益。
-
研究：LLM 中的内在自我修正取决于任务
一篇新的研究论文探讨了大型语言模型中内在自我修正（SC）的有效性，将评估从普遍性转向任务敏感性分析。该研究调查了 SC 如何通过不同机制发挥作用，例如在文字游戏中验证显式约束、重新评估复杂推理或提供替代策略。研究结果表明，当任务结构支持这些修订模式时，SC 可以持续提高性能，这表明其效用取决于修订阶段在给定任务中所扮演的具体角色。
-
JudgmentBench数据集显示偏好判断在AI评估中优于评分标准
研究人员推出了JudgmentBench，一个新基准数据集，旨在比较基于评分标准的评分与成对偏好判断在评估AI模型输出方面的效果。该数据集包含1,539个评分标准分数和1,530个来自执业律师对30个真实世界法律任务的成对偏好判断。初步研究结果表明，成对偏好在恢复质量排序方面比评分标准更有效，斯皮尔曼秩相关系数达到0.908，而评分标准为0.150，同时所需的标注时间也更少。
-
研究发现：读者在复杂句子中会回溯到错误
一篇新论文探讨了读者如何处理包含合理错误的复杂句子。研究人员观察到，当后续信息表明存在错误时，读者会进行特定的眼动，回溯到文本的早期部分。这些发现支持了能够解释噪声信道处理和信息再分析的语言理解模型。
-
新语料库映射大型语言模型在模仿人类特征时对社会议题的辩论
研究人员开发了一个名为认知数字阴影（CDS）的新合成语料库，包含19万条记录，用于研究大型语言模型（LLMs）如何辩论社会议题。该语料库由19种不同的LLMs生成，每种LLM都被提示采用特定的人类角色或AI助手角色。CDS包含LLM对医疗保健、虚假信息和性别差距等争议性话题的回答，其中角色条件记录编码了17种社会人口统计学和心理学属性，以将提示与语言、立场和推理联系起来。
-
新框架为对话式指代表达理解合成丰富数据
研究人员开发了一种新颖的三层数据合成框架，以解决通用指代表达理解中带注释对话基础数据稀缺的问题。该方法旨在通过平衡数据生成的真实性和可控性来提高模型性能，从而实现对话条件基础任务的可扩展监督。实验表明，在该合成数据上微调的模型在标准评估指标上比现有方法取得了显著的改进。