Zero-Shot Transfer Learning
PulseAugur coverage of Zero-Shot Transfer Learning — every cluster mentioning Zero-Shot Transfer Learning across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
扩散模型实现高效的一对多机器翻译
研究人员开发了一种新颖的基于扩散的一对多机器翻译框架，显著提高了效率和灵活性。该方法并行优化所有目标语言，实现了与语言数量成亚线性延迟扩展，并使单个模型能够取代多个独立的翻译系统。该框架在未见过的语言上表现出强大的零样本迁移能力，无需重新训练，质量约为监督翻译的75%。通过加速采样，与传统的自回归基线相比，它提供了2倍的速度提升和改进的零样本BLEU分数。
-
新型多模态图基础模型CHARM支持零样本迁移学习
研究人员推出CHARM，这是一种新颖的多模态图基础模型，专为复杂图数据集上的零样本迁移学习而设计。CHARM解决了在不同模态和领域之间泛化知识的挑战，而无需下游微调。该模型通过将孤立节点表示为分层图上下文来实现这一点，这些上下文编码多模态语义和跨模态关系，将领域特定模式映射到共享的高级概念。这种方法使CHARM能够减少对目标领域监督的依赖，在零样本多模态图任务上持续改进。
-
新方法改进LLM微调以提升性能
研究人员开发了改进大型语言模型监督微调（SFT）的新方法。一种方法FisherAdapTune利用Fisher信息几何动态选择参数组进行适应，增强了分布内性能和零样本迁移能力。另一组方法，包括Target-SFT和PriFT，将SFT重新解释为目标分布设计。这些技术旨在通过更好地将微调过程与模型的预训练知识对齐，来创建更稳定有效的训练目标，从而在各种推理和代码生成任务上取得最先进的结果。