Computation and Language
PulseAugur coverage of Computation and Language — every cluster mentioning Computation and Language across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新框架通过澄清患者查询来提高医疗聊天机器人的准确性
研究人员开发了一种知识引导的代理框架，旨在提高医疗聊天机器人的准确性。该框架通过解释患者的查询，识别症状或药物等缺失的上下文，并提出有针对性的后续问题来运行。通过将原始查询与获取的患者信息相结合，该框架为下游语言模型生成更清晰的提示，从而显著减少歧义并提高响应准确性。
-
新的“Forking Fast”方法降低了LLM不确定性分析成本
研究人员开发了一种名为“Forking Fast”的新方法，可以更有效地分析大型语言模型文本生成中的不确定性动态。该方法解决了传统重采样方法的高计算成本问题，而传统方法会分析模型可能产生的潜在推理链的分布。研究表明，通过充分的重采样，不确定性模式会趋于稳定，这表明许多感知到的噪声是低样本数据的人工制品，而不是固有的模型敏感性。Forking Fast使用统计模型来平滑噪声数据，从而以显著降低的采样成本更准确地近似高样本结果。
-
新探测方法揭示音频语言模型为何忽略韵律
一篇新的研究论文介绍了一种方法，用于查明音频语言模型（audio-LLMs）未能利用韵律信息的原因，韵律信息除了口语中的词语之外，还能传达情感和语言的细微差别。该研究提出了一种特定阶段的探测梯队，以确定失败是由于声学信息丢失、内部解释不正确，还是由于可用内部表示的表达不足。对四个音频语言模型的实验显示，虽然韵律信息通常在模型的后期状态下得以保留和解码，但并未在最终输出中充分表达，这表明模型在使用而非感知这些信息方面存在瓶颈。
-
新框架从六个维度评估隐喻解释
研究人员开发了一个新的框架来评估隐喻解释，超越了简单的整体评分。这种认知驱动的方法将解释质量分解为六个不同的维度。通过大规模注释研究，他们发现解释质量确实是多维度的，并且注释者之间存在系统性分歧。该框架表明，与传统方法相比，分析这些维度可以提供更丰富的见解，并且自动评估工具应旨在复制人类判断的结构。
-
新研究分解了LLM中的约束解码
arXiv上的一篇新论文探讨了大型语言模型中约束解码的分解，特别关注工具调用时的弃权。研究人员发现，解码器对格式约束的贡献很小，并警告不要将这些发现推断到函数调用等正确性要求上。该研究在英语和韩语数据集上评估了从0.6B到4B参数的开源模型，结果显示，分离修复生成停止和控制发出标记的工作对性能有显著影响。虽然干预措施对需要工具的项目产生了积极结果，但它却恶化了弃权任务的表现，表明输出的形式对于可读性和正确性至关重要。
-
提出新的NLP多语言隐喻处理框架
一项博士论文提案概述了开发一个端到端多语言隐喻处理框架的计划。该框架旨在整合隐喻检测、翻译评估和联合建模，以改进自然语言处理系统。该研究将利用语言学理论和大型语言模型来创建新的数据集和评估基准，以处理比喻性语言。
-
AI安全微调改变了LLM关于意识和价值观的信念
一篇新的研究论文探讨了大型语言模型（LLMs）中的安全微调如何可能无意中影响它们对意识和人类价值观的表征。研究发现，阻止LLMs将意识归因于自身的努力也减少了它们将心智归因于非人类实体的倾向，并可能降低精神信仰。研究人员证明，逆转这些安全微调引起的变化可以恢复更广泛的心智归因，并在不损害核心社会推理能力的情况下，在社会学调查中产生更像人类的反应。
-
自动化系统从 76,000 项能源研究中提取数百万个数据点
研究人员开发了一个自动化系统，用于从 2010 年以来发表的 76,000 多项能源系统研究中提取技术经济数据。该系统汇编了数百万个结构化数据点和相关的元数据，提供了一个全面且可审计的数据库。由此产生的 FAIR 数据库不仅支持能源系统模型，还允许对学术假设与经验数据以及跨技术和地区随时间变化的研究趋势进行大规模分析。提供了一个交互式仪表板供用户访问和分析这些数据。
-
新方法实现对话AI的可验证自我演进
研究人员开发了一种名为未来反馈技能演进的新方法，以实现语言模型在开放式对话中的自我演进。该方法通过预测给定响应是否会导致用户产生积极或消极反应，来解决对话中不稳定的验证信号的挑战。然后，演进后的反馈技能可用于优化响应质量，在销售助手数据集上实现了超过75%的预测准确率。这种方法允许在离线状态下进行可复现的技能演进，而无需为每个候选技能进行实时流量测试。
-
新的ASR方法控制转录风格并提高时间精度
研究人员开发了一种新的方法来控制自动语音识别（ASR）模型的转录风格，解决了因逐字和意图转录不一致而导致的解码不稳定和评估混淆问题。通过在逐字和意图转录对上使用具有覆盖感知解码器任务令牌进行训练，他们在德语不连贯检测方面取得了显著的改进，即使仅使用英语进行训练。该方法还提高了词级时间精度，并引入了一个名为“verbatimize”的新任务，用于创建高质量的逐字转录。
-
新研究将对话地址建模为一种连续现象
研究人员提出了一种理解多方对话中地址的新方法，将离散标签扩展到连续级别表示。这种新方法分析话语的指向方式，发现地址不仅与轮次转换有关，还与听者的行为（如注视和回应）相关。与使用离散标签的模型相比，利用这些连续地址级别的模型展示了更高的预测准确性，表明对对话地址有了更细致的理解。
-
新的多模态方法通过多语言文本增强音频情感分析
研究人员开发了一种新颖的多模态音频情感分析方法，该方法集成了语音识别和机器翻译以提高准确性。该方法使用跨模态 Transformer 结合音频特征和自动生成的多语言文本转录。研究表明，引入这些生成的文本模态显著提高了情感极性分类的性能。此外，还采用了知识蒸馏来增强仅音频模型，在不增加推理计算的情况下提高了其效率。
-
研究发现：大型语言模型表征用户意图优于实际行动
研究人员发现，大型语言模型内部对用户沟通意图的表征比其外在行为所显示的更为稳健。尽管模型经常根据表面文本而非潜在意图进行响应，但通过线性探针可以准确地从不同架构模型的隐藏状态中解码出这种意图。这种内部表征比最初看起来更细致，能够泛化到语用推断的意图，并区分不同类型的支持。虽然模型能够可靠地表征意图，但其对意图的实际行动却不一致且因模型而异，这表明是读取（readout）而非表征（representation）方面存在缺陷。
-
新研究探索政治量化联合预测
研究人员在arXiv上发表了一篇论文，探讨了监督式政治量化（一项对分析政治人物意识形态立场至关重要的任务）的方法。该研究调查了联合预测量化模型，而非单独预测，是否能提高性能。它还考察了结合分类和回归技术的混合方法，以改进现有NLP方法的潜力。
-
新框架对具有可控幻觉的大语言模型生成进行建模
研究人员引入了一种新的极限语言生成框架，旨在更好地反映现代大型语言模型的能力和限制。该方法解决了广泛覆盖目标语言与确保生成输出有效性之间的权衡。研究分析了各种约束条件下的生成，包括允许无限数量的错误，只要它们的频率接近于零，这可以在目标语言的某些部分被省略时提高召回率。此外，它还探讨了新颖性约束的连续放松，只要求固定比例的输出是新颖的，从而朝着更现实的语言生成模型迈进。
-
新的多模态数据集增强了学术论文关键词提取能力
研究人员开发了一个新的学术论文关键词提取多模态数据集，包含1000个样本，涵盖文本、图像和音频。该数据集旨在通过整合视觉和听觉信息来解决纯文本方法的局限性。实验表明，结合来自不同模态（包括从图像和音频中提取的文本）的文本，与仅使用文本相比，显著提高了关键词提取性能。
-
新框架从不同文本来源中归纳出层级结构
研究人员开发了一种新的面向术语的框架，用于从不同的文本来源创建可解释的层级分类法。该方法使用自动术语提取将文档映射到共享表示空间，从而实现跨异构语料库的更好泛化。在大型英语和德语基准上的实验表明，与现有基线相比，跨源连贯性和层级质量有所提高，并且案例研究显示了其在技术格局映射中的实用性。
-
新的红队测试框架揭示大型语言模型忠实度漏洞
研究人员开发了一个新颖的红队测试框架，以系统地发现大型语言模型（LLMs）中的漏洞。该框架采用多角色架构，包括目标模型、攻击者模型和评审模型，用于生成对抗性提示并严格评估响应的准确性和一致性。一项案例研究表明，在问答任务中，该方法可以将攻击成功率提高多达7.9%，揭示了大型语言模型在可靠性和忠实度方面存在的显著弱点，尤其是在对摘要任务应用结构化约束时。
-
新方法分解标注任务以提高效率
研究人员提出了一种通过将复杂任务分解为更小的子任务来高效标注结构化数据的新方法。该方法旨在通过隔离显著元素和约束输出空间来减轻人工或模型标注者的推理负担。提出的框架包括任务分解指南和在固定预算内分配子任务以最大化质量的程序，有可能提高标注项目的成本效益。
-
研究：LLM 中的内在自我修正取决于任务
一篇新的研究论文探讨了大型语言模型中内在自我修正（SC）的有效性，将评估从普遍性转向任务敏感性分析。该研究调查了 SC 如何通过不同机制发挥作用，例如在文字游戏中验证显式约束、重新评估复杂推理或提供替代策略。研究结果表明，当任务结构支持这些修订模式时，SC 可以持续提高性能，这表明其效用取决于修订阶段在给定任务中所扮演的具体角色。