研究人员推出了一种新颖的模块——频域潜在注意力门控池化(FLaG),旨在通过在傅里叶域中操作来改进令牌聚合。该方法在池化前将编码器输出重新表达在频域中,从而能够更全面地表示数据。FLaG已在多种任务中展现出有效性,包括蛋白质活性预测、CIFAR-10和CIFAR-100上的图像分类以及多项语言任务,在多项基准测试中表现优于标准的池化方法。 AI
影响 引入了一种新颖的频域令牌聚合方法,有望改善跨不同AI任务的表示学习。
排序理由 该集群包含一篇详细介绍AI模型中令牌聚合新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- CatalyzeX
- CIFAR-10
- CIFAR-100
- DagsHub
- ESM2
- FLaG
- Frequency-Domain Latent-attention Gated Pooling
- Gotit.pub
- Hugging Face
- ResNet18
- Roberta
- ScienceCast
- STSBenchmark
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →