实体
MixFormer
MixFormer
PulseAugur coverage of MixFormer — every cluster mentioning MixFormer across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
MixFormer：新型线性Transformer增强长序列建模能力
研究人员推出MixFormer，这是一种新颖的线性Transformer，旨在提高超长序列建模的效率。该模型通过引入混合记忆专家（MoE）机制和时间感知线性注意力（TALA）技术，解决了现有状态空间模型（SSMs）的局限性。MixFormer利用多个协作的记忆专家来维护差异化的记忆状态，并使用可学习的衰减函数和位置偏差动态更新记忆，从而改进了文本和图像生成等任务的远程依赖建模。
-
新的LENS系统增强了序列CTR预测模型
研究人员推出了一种名为LENS的新型两模块系统，旨在增强序列点击率（CTR）预测模型。LENS旨在改善潜在查询架构中的目标特定控制，因为这些架构有时会稀释这种特异性。该系统包括一个用于查询激活的目标条件查询门（TCQG）和一个用于历史检索的目标条件位置偏差（TCPB）。当与特定于查询的位置偏差（QueryPos）结合使用时，LENS在各种潜在查询骨干网和数据集上均显示出积极的收益，表明其在提高CTR预测准确性方面是有效的。