Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model
PulseAugur coverage of Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model — every cluster mentioning Prompt Tuning by Context Template Pool Optimisation for Vision-Language Model across labs, papers, and developer communities, ranked by signal.
-
D-FROST算法使用最优传输进行去中心化提示调优
研究人员推出了一种新颖的去中心化联邦学习算法D-FROST，用于提示调优。该方法通过将提示调优构建为基于Wasserstein的优化问题，解决了去中心化环境中的挑战，例如不匹配的提示集和达成共识的需求。D-FROST利用最优传输来匹配和合并邻近提示，确保了客户端之间收敛和共识的理论保证。实验证明了其在异构数据环境中的有效性。
-
新的HiVe框架通过自适应提示增强LLM多任务学习能力
研究人员推出了一种新颖的提示调优框架HiVe，旨在增强大型语言模型（LLM）的多任务学习能力。与使用静态或固定分层提示结构的现有方法不同，HiVe根据输入的具体性动态组合提示。这是通过构建一个模拟任务间关系的模型层次结构，并在推理过程中采用垂直混合专家（V-MoE）机制来实现的。实验表明，HiVe在各种任务上都优于当前的提示调优基线，证明了其在自适应提示专业化方面的有效性。
-
新HiRoute框架增强LLM安全对齐
研究人员开发了HiRoute，一个新颖的分层提示调优框架，旨在增强大型语言模型（LLM）的安全对齐。该框架采用输入自适应方法，利用一个轻量级分层路由器来区分有害和良性输入。对于风险输入，HiRoute结合了一个共享提示和一系列风险特定的提示专家，旨在提高各种基准测试中的安全率，同时最大限度地减少过度拒绝并保持通用任务性能。
-
新理论分析Transformer在分布回归中的泛化能力
研究人员开发了一个新的理论框架，用于在分布回归的背景下分析Transformer模型。该框架引入了一个“注意力算子”，使Transformer能够在不丢失信息的情况下将分布压缩成函数表示。研究表明，与传统神经网络相比，该算子增强了Transformer学习复杂泛函的能力，并为大型语言模型中使用的prompt tuning和参数高效微调等技术提供了理论见解。
-
新的可微分搜索方法增强了视觉Transformer的提示调优
研究人员开发了一种新颖的方法，通过采用可微分架构搜索来优化视觉Transformer（ViTs）中的视觉提示调优。该方法联合优化可学习的提示及其融合方案，引入了仿射变换和交叉注意力等新的融合技术，以及传统的拼接和加法。在34个数据集上的实验表明，与现有的提示调优基线相比，在准确性、延迟和参数效率方面均有持续的改进，突显了提示融合策略在利用ViT层语义方面的重要性。