Transformer Models
PulseAugur coverage of Transformer Models — every cluster mentioning Transformer Models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Transformer模型预测刑事案件结果
研究人员开发了一种基于Transformer的时间序列模型,用于分析和预测刑事法律系统内的结果。该模型将法院案件视为事件序列,整合了书记员笔记中的文本数据以及关于被告和案件历史的结构化信息。在20类多标签任务上,该模型取得了0.57的微F1分数,优于多个基线模型,并展示了改进司法监督和理解司法决策的潜力。
-
Transformer 模型使用多模态生理数据检测压力,准确率达 99.7%
研究人员开发了使用 WESAD 数据集进行压力检测的 Transformer 模型,整合了多种生理信号。模型在压力检测方面取得了最先进的性能,准确率、精确率和召回率在 99.73% 至 99.95% 之间。该研究还探讨了跨模态性能,并通过可视化和定量分析对学习到的嵌入空间进行了阐释,旨在提高压力检测模型的鲁棒性和泛化能力。
-
AI研究通过新数据集和方法解决低资源手语问题 · 已追踪2个来源
两篇近期研究论文解决了为低资源手语开发AI的重大挑战。第一篇论文虽然已被撤回,但提出了针对阿塞拜疆手语等语言的途径,强调社区参与和以数据为中心的AI。第二篇论文介绍了Maswao,这是一个通过自动收集和准备方法创建的南非手语新数据集,并使用Transformer和Recurrent Neural Networks对其性能进行了基准测试。
-
新的联邦学习框架支持在私有、不相交的数据上进行多模态人工智能训练
研究人员开发了一种新颖的联邦学习框架,该框架能够在具有不相交和私有数据的去中心化节点上训练多模态基础模型。该方法解决了当前需要集中式数据中心和对齐数据集的方法的局限性。所提出的框架使用一小组公共锚点来对齐私有流形,采用Gram矩阵和居中核对齐来确保语义对齐,而无需传输原始数据。它还为大型Transformer模型集成了子空间稳定微调和精度加权平均,以管理节点不确定性,从而使全局模型能够从碎片化的数据孤岛中学习,同时保护数据主权。
-
Slim attention 将 Transformer 上下文内存减半且无精度损失
研究人员开发了一种名为“slim attention”的新技术,可以在不影响精度的前提下将 Transformer 模型上下文内存大小减半。该方法在数学上与标准注意力机制相同,可将大上下文窗口的推理速度提高高达2倍。对于像Whisper这样的特定模型,slim attention 可将上下文内存减少8倍,从而在特定批处理大小下将 token 生成速度提高5倍。该技术还为T5-11B等模型提供了更大的内存缩减,实现了32倍的降低。
-
深度学习Hessian谱由隐藏对称性解释
一篇新发表在arXiv上的论文探讨了深度学习模型中Hessian矩阵的谱特性。研究人员观察到,训练模型中的特征值倾向于聚集,一大群接近零,少数是离群值。该研究提出,这些模式源于一种隐藏的、高度对称的参考配置。模型架构、数据或参数度量的修改会打破这种对称性,从而导致观察到的特征值分布。
-
TopTimeNet模型解耦特征提取,实现高效时间序列分类
研究人员开发了TopTimeNet,这是一种新颖的时间序列分类模型,它将特征提取与学习过程分离开来。该方法利用来自Takens延迟嵌入和持久同调的固定几何和拓扑描述符,然后进行一个轻量级的可学习分类阶段。TopTimeNet在参数数量显著减少的情况下,实现了与大型卷积神经网络和Transformer模型相当的准确性,展示了一种区分周期性和混沌动力学更有效的方法。
-
Deep Noir框架自主引导大型语言模型,揭示新漏洞
研究人员开发了一个名为Deep Noir的新框架,该框架可自动修改大型语言模型(LLM)在推理时的行为。该方法使用Logit Lens收敛和因果头部归因来自主发现最优转向参数。在各种模型规模和架构上,Deep Noir在垃圾邮件检测和情感分析等任务上均取得了显著改进,增幅高达42个百分点。该框架还揭示,转向干预会产生可预测的提示注入攻击面,且漏洞会随着转向幅度的增加而增加。
-
Transformer模型从聊天转向化学,用于药物发现
Transformer模型正从对话式AI被应用于化学和医学领域。这种转变得益于严谨的工程实践和稳健的数据标准的建立。目标是加速关键化合物的发现,例如救命抗生素,可能在几小时内完成。
-
论文认为分离式线性探针不会提高AI可解释性
最近的一篇论文提出在RL优化过程中使用分离式线性探针,以防止模型规避可解释性工具。然而,作者认为这种方法存在缺陷,因为RL本身就是为没有精确梯度的场景设计的,将损失项移入RL并不能从根本上防止混淆。作者将此比作使用一种更慢、更不精确的优化方法来解决可以用更直接的基于梯度的方法解决的问题,认为这是一种效率低下的解决方案,并未从根本上解决模型混淆的问题。
-
新框架审计AI决策系统中的预测多重性
研究人员开发了一个新框架,用于审计表现出“罗生门效应”的决策系统。这种现象是指多个准确的模型产生不同的预测。该框架结合了集成边际和局部预测变异性,以识别不正确的集成预测。使用Transformer模型进行自然语言理解和针对表格数据进行微调的大型语言模型的实验表明,这种集成方法在仅适度增加需要人工审查的实例数量的同时,显著降低了未经检查的不正确预测的风险。
-
New GRaCE framework generates interpretable graph and rank-based embeddings
研究人员推出了一种新颖的无监督框架 GRaCE,用于生成可解释的基于图和基于排名的上下文嵌入。该方法建立在 RaDE(排名扩散嵌入)方法的基础上,通过结合用于代表性子集选择和节点嵌入的鲁棒排名度量。GRaCE 在包括文本和图像集合在内的各种数据集上,与 RaDE 和原始特征相比,在检索、分类和聚类任务中表现出优越的性能。
-
新研究探讨大型语言模型跨语言迁移的挑战与解决方案
一篇新研究论文探讨了大型语言模型(LLMs)在跨语言知识迁移方面面临的挑战,即模型在训练中接触到的事实以不同语言呈现时,可能会生成不正确的信息。研究人员在合成多语言数据集上训练了较小的Transformer模型来研究这个问题。他们的发现表明,模型跨语言迁移知识的能力取决于事实与其原始语言之间的相关性,以及识别语言的难易程度。该研究提出了通过在训练过程中鼓励统一表示来提高LLM跨语言迁移能力的方法。
-
使用 llama.cpp 在消费级 GPU 上优化 LLM 性能
这篇博文详细介绍了在消费级多 GPU 硬件上运行大型语言模型的技木挑战和解决方案。作者侧重于使用 llama.cpp 等现有工具和多 GPU 并行等技术来优化性能,而不是开发新的底层代码。解释深入探讨了底层 Transformer 模型架构、Token 的概念以及注意力机制,并将其与马尔可夫链等更简单的模型进行对比,以突出生成连贯文本所涉及的复杂性。
-
大型语言模型重塑圣训计算科学,但仍存不足
一篇新近发表在arXiv上的批判性综述,探讨了大型语言模型(LLMs)对圣训计算科学的影响。该论文强调了在数据集、文本分割任务以及用于语料库丰富和多语言访问的大型语言模型辅助工作流程方面的进展。然而,它也指出了显著的局限性,包括语料库狭窄、基准测试可比性弱以及专家验证稀疏,并认为这些因素制约了该领域的进步。该综述提出了一项以知识整合、出处追溯和专家监督为重点的研究议程,以加强该领域及其对伊斯兰学术的实用性。
-
研究比较BERT、RoBERTa和BART在文本摘要方面的表现
一项比较研究回顾了现代文本摘要技术,重点关注Transformer模型,如BERT、RoBERTa和BART。该论文探讨了这些模型在抽取式和生成式摘要任务中的架构、预训练策略和有效性。文章强调了自然语言处理和大型语言模型在自动文本摘要方面取得的快速进展。
-
新阿拉伯语数据集Mawqif-v2发布,用于立场检测研究
研究人员推出了Mawqif-v2,这是一个扩展的阿拉伯语数据集,旨在评估立场检测中的跨目标泛化能力。新数据集包含来自三个不同目标(女性驾驶、电动汽车和孕期系统)的996条手动标注的阿拉伯语推文。它作为独立的评估集,是对用于训练的原始Mawqif数据集的补充。该论文还提供了使用各种Transformer模型和大型语言模型的基线结果,以实现可复现的研究。
-
新的TTCD框架在推理过程中增强长上下文语言模型
研究人员推出了一种名为测试时上下文蒸馏(TTCD)的新型长上下文语言建模框架,该框架可在推理过程中优化参数更新。与以往的方法不同,TTCD引入了一个自监督目标,以策略性地分配有限的内存容量来存储未来可能相关的信息。实验表明,TTCD,特别是其就地变体(IP-TTCD),在长上下文语言建模任务中优于DeltaNet和滑动窗口注意力等现有方法。该方法使预训练的Transformer模型能够在推理过程中持续适应其参数,从而以最小的架构更改获…
-
自然语言处理模型在法律欺骗检测中表现出领域敏感性
一篇新的研究论文探讨了自然语言处理(NLP)技术在法律环境中检测欺骗的有效性。该研究比较了七个数据集上的各种Transformer模型和大型语言模型(LLM),包括两个法律领域和五个通用领域的数据集。研究结果表明,虽然在数据丰富的通用领域中,经过微调的模型表现更好,但在低资源的法律环境中,少样本LLM仍然具有竞争力。研究还表明,对于这项任务,思维链提示(Chain-of-Thought prompting)通常不如直接分类有效,这凸显…
-
新的L1增强注意力改进Transformer模型相似性
研究人员开发了L1增强注意力,这是一种改进Transformer模型中向量相似性计算的新方法。该技术通过结合L1距离来修改标准的缩放点积注意力,L1距离可以捕获互补的几何信息。新方法旨在通过平衡方向对齐和坐标偏差惩罚来增强相似性计算,从而可能带来更高效、更准确的语言模型。