实体
Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model
Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model
PulseAugur coverage of Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model — every cluster mentioning Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论分析Transformer在分布回归中的泛化能力
研究人员开发了一个新的理论框架，用于在分布回归的背景下分析Transformer模型。该框架引入了一个“注意力算子”，使Transformer能够在不丢失信息的情况下将分布压缩成函数表示。研究表明，与传统神经网络相比，该算子增强了Transformer学习复杂泛函的能力，并为大型语言模型中使用的prompt tuning和参数高效微调等技术提供了理论见解。
-
新的可微分搜索方法增强了视觉Transformer的提示调优
研究人员开发了一种新颖的方法，通过采用可微分架构搜索来优化视觉Transformer（ViTs）中的视觉提示调优。该方法联合优化可学习的提示及其融合方案，引入了仿射变换和交叉注意力等新的融合技术，以及传统的拼接和加法。在34个数据集上的实验表明，与现有的提示调优基线相比，在准确性、延迟和参数效率方面均有持续的改进，突显了提示融合策略在利用ViT层语义方面的重要性。