Transformer Decoder
PulseAugur coverage of Transformer Decoder — every cluster mentioning Transformer Decoder across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的CLARER模型提高了推荐的准确性和可解释性
研究人员开发了CLARER，一种新的推荐模型，它结合了用户评分和从文本评论中提取的方面特征。该模型使用多层感知器处理基于评分的特征，并使用带有对比学习的Transformer编码器处理基于方面特征。然后，使用Transformer解码器为推荐生成解释。在基准数据集上的实验表明，CLARER在推荐准确性和解释质量方面均优于现有方法。
-
CHAP框架通过分层对齐增强个性化生成检索
研究人员推出了一种新颖的个性化生成检索框架CHAP，该框架解决了当前系统的局限性。CHAP利用分层语义对齐模块，跨多个粒度更好地匹配动态查询意图与静态项目表示。它还结合了用户行为建模和残差级联生成机制，以提高推理速度并减少信息丢失。在公共和专有数据集上的实验，包括在线A/B测试，都证明了CHAP的有效性和实际价值。
-
新型AI模型Mr.Dec利用每日电子病历和X光数据预测医院再入院
研究人员开发了Mr.Dec，这是一种新颖的多模态模型，旨在通过分析纵向患者数据来预测30天内的医院再入院。与以往压缩患者病史的方法不同，Mr.Dec以时间对齐的序列处理每日电子健康记录更新和胸部X光检查结果，模拟临床工作流程。该模型利用Transformer Decoder架构和疾病特异性监督对比学习来捕捉动态患者轨迹，并识别入院期间的关键日期以进行实时风险分层。在MIMIC-IV和MIMIC-CXR数据集上的评估表明，Mr.Dec通…
-
英国开发国家级电子健康记录生成式AI模型以预测疫情
一篇新研究论文详细介绍了Foresight-England的开发过程，这是一个大规模生成式AI模型，旨在预测COVID-19疫情背景下的电子健康记录（EHR）中的医疗事件。该模型是一个包含2.43亿个参数的Transformer解码器模型，使用了约6100万人的EHR数据进行训练。尽管该项目旨在评估疫情的影响并推广到未来数据，但NHS England已暂停数据访问，阻止了量化结果的发布。因此，该论文作为一种方法论模板，概述了构建人群规…
-
G0.5模型将机器人推理与行动整合到单一流中
研究人员推出G0.5，这是一种新颖的自回归视觉-语言-行动（VLA）模型，它在一个Transformer解码器中整合了推理和行动生成。这种方法使VLM能够充当决策者，而不仅仅是上下文编码器。G0.5利用了一个可学习的行动分词器，用于共享的行动词汇表，一个用于交错推理和行动的思维链流，以及一个用于历史上下文的视觉记忆模块。该模型在七个不同的机器人基准测试中表现出最先进的性能，包括真实世界的机器人和长时程操作任务。
-
Transformer解码器如何生成文本：深度解析
Transformer解码器以自回归的方式生成文本，一次预测一个token，并将其反馈回模型以进行下一次预测。这个顺序过程是现代大型语言模型（LLMs）如何产生输出的核心。生成质量不仅取决于模型的内部表示，还取决于用于从概率分布中选择下一个token的解码策略，诸如温度缩放（temperature scaling）等技术会影响输出的随机性和多样性。
-
CogScale基准加速AI序列处理评估
研究人员推出CogScale，一个旨在高效评估AI架构序列处理能力的新基准。该基准包含14个可扩展的合成任务，允许在进行大量训练之前快速验证新设计。使用CogScale进行的初步评估测试了包括GRU、LSTM、Mamba和Transformer变体在内的七种不同架构，涵盖了各种参数预算和难度级别。