Transformer-based Models
PulseAugur coverage of Transformer-based Models — every cluster mentioning Transformer-based Models across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
大型语言模型有望彻底改变纳米光子学的设计和发现
一篇新的综述文章探讨了大型语言模型（LLMs）在纳米光子学领域的融合。文章详细介绍了LLMs如何通过提供语义接口、生成代码和协调仿真工具，超越传统的神经网络。这些模型主要有两种应用方式：作为结构-光谱映射的代理模型，以及作为能够自主优化的代理系统。该综述还触及了在材料科学和无线通信等相关领域的潜在应用，并设想了未来能够作为科学发现的积极协作者的多模态基础模型。
-
ProPINN架构解决了物理信息神经网络中的传播失败问题
研究人员推出了一种新颖的架构ProPINN，旨在解决物理信息神经网络（PINNs）中的传播失败问题。当来自初始或边界条件的监督信号未能有效到达被建模区域的内部时，就会发生这些失败。ProPINN旨在通过统一区域点的梯度来克服这一问题，为识别和解决这些问题提供更精确的定量标准。据报道，新架构在性能上显著优于先进的基于Transformer的模型。
-
MARBERT学习阿拉伯语数字话语中的表情符号语用
一篇新发表在arXiv上的研究探讨了基于Transformer的模型，特别是MARBERT，如何通过使用表情符号来学习阿拉伯语数字话语中的人际语用学。研究人员收集并标注了一个包含超过8500个带表情符号的Facebook帖子的数据集，并将其标记为礼貌、尊重、团结、同情和鼓励等功能。研究结果表明，MARBERT在识别这些语用功能方面取得了高准确率，证明了其超越基本情感分析的能力，尽管它在理解高度隐含的社会意义方面仍存在困难。
-
新基准测试比较用于脑肿瘤分割的深度学习模型
研究人员开发了一个统一的基准测试，用于比较磁共振成像扫描的3D脑肿瘤分割的深度学习模型。该研究在相同的实验条件下评估了五种最先进的模型，包括CNN、基于Transformer的模型和状态空间模型（SSM）。性能通过分割准确性指标和推理时间、模型大小等计算成本进行评估，从而深入了解不同架构范式在准确性和效率之间的权衡。
-
新型UEP编解码器将AI推理内存成本降低高达62.5%
研究人员开发了一种新的AI推理内存保护方法，通过分析各种模型和浮点格式中的位位置故障敏感性。他们发现某些低位对性能影响很小，从而可以降低纠错开销。这一发现促成了一种不等错误保护（UEP）编解码器，可以在无需重新训练模型的情况下节省大量的存储和能源。
-
M2I2HA网络利用超图理论推进多模态目标检测
研究人员推出了一种新颖的多模态目标检测网络M2I2HA，该网络利用超图理论来改进特征提取和跨模态对齐。该方法通过捕获不同数据模态内部和之间复杂的、多对多的关系，解决了现有方法（如CNN、Transformer和状态空间模型）的局限性。在公开数据集上的实验表明，M2I2HA在多模态目标检测方面取得了最先进的性能。
-
新的GATAS方法为ASR系统生成对抗性输入
研究人员开发了一种新颖的黑盒测试方法GATAS，用于自动语音识别（ASR）系统。该方法通过操纵文本到语音模型的潜在空间来生成对抗性输入，旨在诱导转录错误，同时保持语音的自然度。GATAS将攻击表述为一个多目标优化问题，平衡语义差异和感知质量。实证评估表明，与现有方法相比，GATAS在失真度较低和感知质量较好的情况下实现了高成功率，即使没有直接访问模型内部。
-
新的X-FEMR方法增强了电子健康记录AI模型的可解释性
研究人员开发了X-FEMR，一种用于电子健康记录基础模型（FEMR）的新型令牌级可解释性方法。这些模型虽然在临床预测任务中很有效，但通常充当黑箱，引起了对信任和偏见的担忧。X-FEMR利用基于Transformer的代理模型来近似FEMR的行为，识别有影响力的患者数据令牌，并提供对其预测贡献的见解。一项新的临床对齐指标验证了这些解释与临床公认的特征相对应，为更具可解释性和更值得信赖的临床AI提供了途径。
-
新的阈值门控原语重塑神经网络非线性
研究人员提出了一种称为阈值门控（TG）的新原语，它可以实现神经非线性，这是传统上由激活函数处理的功能。该TG原语被证明等同于ReLU和Sigmoid等标准激活函数，并且可以在不损失性能的情况下从现有神经网络架构转换而来。研究表明，TG有望在模型压缩、训练效率和硬件实现方面带来改进，特别是通过减少对模数转换器的需求，从而有利于模拟内存系统。
-
新方法以有限数据增强无监督跨模态检索 · 跟踪4个来源
研究人员正在开发新的无监督跨模态检索方法，旨在提高效率并减少对大型手动标注数据集的依赖。论文提出了属性提示核哈希（APKH）和全局邻域对齐哈希（GNAH）等技术，这些技术利用视觉语言基础模型和有限的配对数据来构建紧凑、对齐的汉明空间。另一种方法UniCA引入了双向交叉注意力和正相似性损失，以实现更鲁棒的多模态检索，并在WebQA+等基准测试中取得了改进。
-
研究论文质疑LLM在基因组学任务上的预训练成本
一篇新的研究论文评估了预训练大型语言模型（LLM）在基因组学任务上的有效性。该研究质疑了像DNABERT2这样的基于Transformer模型的显著计算成本是否能通过优于ConvNova等传统卷积模型的性能提升来证明其合理性。它还考察了预训练的贡献以及字节对编码（BPE）分词对DNA序列表示的影响。
-
时间序列模型在美国流感预测中的评估
一项新的研究论文评估了用于预测美国季节性流感的各种时间序列预测模型。研究发现，混合专家模型（一种结合了多个预训练预测器的模型）取得了最佳性能。基于 Transformer 的模型也显示出可靠性，预训练对长期预测尤其有益，特别是当与流感动态保持一致时。然而，在这一特定应用中，基于大型语言模型 (LLM) 的时间序列方法的表现不如数值预测器。
-
AI模型注意力拓扑映射至人脑网络
研究人员开发了一种新颖的方法，通过将Transformer模型注意力拓扑映射到人脑网络，来比较AI模型的组织特性。该方法实现了跨视觉、语言和多模态系统的、与模态无关且无任务的分析。他们对151个模型的研究揭示了一种连续的弧形拓扑对齐分布，其中侧重全局抽象的模型与更高级别的大脑网络对齐，而侧重局部细节的模型则与低级别网络对齐。意外的发现包括DINOv2的对齐度降低以及蒸馏DeiT模型的尺度反转，这表明模型架构、训练和类大脑组织之间存在复杂的关系。
-
法律专用AI模型在合同分类中优于通用模型
一项新近发表在arXiv上的研究评估了专门针对法律任务定制的Transformer模型与通用模型在法律合同分类中的表现。研究发现，法律专用模型在分类法律合同时持续优于通用模型，尤其是在需要深入理解法律细微之处的任务上。例如，Legal-BERT和Contracts-BERT模型在测试的三项任务中的两项上取得了新的最先进成果，即使它们的参数数量远少于通用模型。
-
LeapTS框架将时间序列预测重构为自适应调度
研究人员推出LeapTS，一个将时间序列预测重构为自适应调度问题的新框架。这种方法摆脱了固定的映射，转变为一个动态过程，其中一个分层控制器在每一步选择最佳的预测尺度和推进长度。该系统利用神经控制微分方程来管理时间动态和调度反馈，与现有的基于Transformer的模型相比，提高了预测准确性并显著加快了推理速度。
-
研究发现：AI模型学习运动到雷达频谱图的物理学
研究人员开发了一个新的框架，用于评估将动作捕捉数据转换为雷达频谱图的数据驱动模型是否正在学习底层物理学。该框架使用两个指标来衡量模型预测与物理学推导的多普勒频率的一致性，以及速度-频率关系的保持情况。实验表明，低重建误差并不总是与物理一致性相关，并且时间注意力对于Transformer模型学习这些物理原理至关重要。
-
定向社会关怀：在线媒体中浮现目标性倡导、反对、援助、伤害和受害情况
研究人员开发了一种名为定向社会关怀（DSR）的新方法来分析在线文本中的情感。与提供单一积极、中性或消极评分的传统情感分析工具不同，DSR可以识别单个消息中的多种情感并精确定位其目标。该方法利用一对基于Transformer的模型来检测情感目标，并在三个轴上对其进行评分，从而提供对在线通信更细致的理解。
-
印尼学生对高等教育中的人工智能持积极态度
一项新研究分析了印尼学生对高等教育中人工智能采纳的情感，将传统的机器学习与基于Transformer的深度学习模型进行了比较。该研究使用了包含2,295个已标记样本的数据集，包括学生意见和词汇情感数据。虽然支持向量机（SVM）在机器学习方法中表现强劲，但经过微调的DistilBERT模型取得了最高的准确率和F1分数，证明了Transformer模型在理解上下文方面的优越能力。