Whale

WHALE架构通过Wukong和HSTU统一推荐特征

研究人员推出了一种新颖的推荐架构WHALE，旨在高效地统一非序列特征和序列特征。该模型利用Wukong进行高阶非序列特征交互，并利用HSTU进行长用户行为序列建模。通过将这些组件与基于注意力机制的融合模块集成，WHALE实现了两个骨干网络之间的渐进式交换，从而能够详细检索用户历史记录中的证据。该架构已通过定制的Triton内核和其他系统级协同设计技术进行了优化，以提高训练和推理效率，并在工业环境中展示了持续的离线收益和积极的在线结果。