Transformer encoder
PulseAugur coverage of Transformer encoder — every cluster mentioning Transformer encoder across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的CLARER模型提高了推荐的准确性和可解释性
研究人员开发了CLARER，一种新的推荐模型，它结合了用户评分和从文本评论中提取的方面特征。该模型使用多层感知器处理基于评分的特征，并使用带有对比学习的Transformer编码器处理基于方面特征。然后，使用Transformer解码器为推荐生成解释。在基准数据集上的实验表明，CLARER在推荐准确性和解释质量方面均优于现有方法。
-
新PRISM框架通过推断人类互动风格来增强机器人导航能力
研究人员开发了PRISM，一个旨在改善拥挤环境中社交机器人导航能力的新框架。PRISM通过被动观察人与人之间的互动来推断人类的互动特征，并使用经过Rank-N-Contrast损失训练的Transformer编码器将这些轨迹编码到潜在空间中。这种方法旨在考虑通常被仅基于几何的导航系统所忽略的互动倾向的个体差异。在模拟中，与现有方法相比，PRISM在降低碰撞率方面表现出色，并在导航时间和路径长度方面有所改进。
-
新的ADAPT模型使用Transformer处理长程原子相互作用
研究人员开发了ADAPT，一种新的机器学习力场，它绕过了图神经网络来模拟原子相互作用。这种方法直接使用原子坐标和Transformer编码器来捕捉所有成对相互作用，旨在改进长程力的表示。在硅点缺陷上的测试中，与现有的基于图的模型相比，ADAPT在力和能量预测误差方面有了显著降低，同时计算成本也更低。
-
自监督学习增强物理学中的共振质量回归
研究人员开发了一种使用VICReg预训练的Transformer编码器的自监督学习方法，以改进高能物理学中的共振质量回归。该方法旨在克服传统监督学习的局限性，后者在对撞机实验中常常难以处理系统不确定性和分布变化。与监督模型相比，预训练模型在实际的腐蚀和SUSY类级联衰变中的重共振下表现出更稳定的性能和更尖锐的共振峰。
-
新的iPINN框架增强了非线性光谱学的相位检索能力
研究人员开发了一种逆向物理信息神经网络（iPINN），旨在解决宽带相干反斯托克斯拉曼光谱（BCARS）中复杂的相位检索问题。该新颖框架通过从原始BCARS光谱预测洛伦兹峰参数来重建共振磁化率，并利用可微分的解析正向模型。iPINN包含一个用于识别光谱特征的Transformer编码器和一个多视图一致性损失，以确保在不同的非共振背景模式、强度和噪声水平下保持不变性。与直接光谱回归方法相比，该方法在基准数据集上表现出更高的准确性和鲁棒性，…
-
大型语言模型评估阿拉伯语危机电话中的自杀风险，表现与英语相当
研究人员开发并评估了用于评估阿拉伯语危机求助电话中自杀风险的大型语言模型，并将其表现与英语翻译进行了比较。该研究使用了黎巴嫩国家情感支持和预防自杀生命线去标识化的通话记录，通过在现场处理音频来确保数据隐私。阿拉伯语和英语模型都经过了微调和测试，表现最佳的阿拉伯语模型在高风险电话的宏观F1值为81.19，ROC-AUC为90.61，而表现最佳的英语模型分别为85.00和92.59。研究结果表明，可以从去标识化的阿拉伯语通话记录中有效分类…
-
新的COAST框架增强了空间转录组学中的基因表达预测
研究人员开发了COAST，一种利用组织学图像预测空间转录组学中基因表达的新框架。这种上下文感知的差异学习方法利用局部和全局上下文特征，并结合Transformer编码器来捕捉复杂的模式。COAST使用目标点和上下文点之间的绝对表达回归以及有符号差异回归的组合目标进行训练，在多个数据集上表现出改进的性能。
-
AI通过高效的Transformer编码器检测奖励劫持
研究人员开发了一种使用小型Transformer编码器检测AI系统中奖励劫持的新颖方法。该编码器将轨迹映射到一个距离近似信号差异的空间，在识别奖励劫持方面取得了高精度。与使用大型语言模型作为裁判相比，该方法成本效益显著更高，并表明该编码器依赖的不仅仅是自然语言推理。