Sketch Attention

新研究解决推荐系统超长序列建模问题

两篇新研究论文解决了推荐系统中超长用户行为序列建模的挑战。第一篇论文SequenceO1介绍了一个在抖音部署的端到端框架，该框架使用Sketch Attention和Stacked Target-to-History Cross Attention来压缩和推理长达10万次交互的历史记录。第二篇论文提出了一个两阶段框架，通过修改评分机制和微调特定组件，在不依赖缓存历史记录的情况下缩小长短视图的性能差距。