研究人员开发了PACE,一个新颖的两阶段框架,旨在改进多模态嵌入模型。该框架通过逐步扩展表示和可训练参数空间,解决了现有基于余弦的对比目标函数的局限性。PACE最初使用基于余弦的目标函数和低秩适配(low-rank adaptation)来稳定角度几何,然后过渡到点积相似度和全参数微调,以利用角度和范数信息进行更丰富的语义编码。该方法还结合了焦点嵌入损失(Focal Embedding Loss),以自适应地关注模糊查询,并在各种任务和模型规模上都显示出一致的有效性。 AI
影响 通过结合角度和范数信息实现更丰富的语义编码,从而增强了多模态嵌入模型。
排序理由 该集群包含一篇详细介绍多模态嵌入模型新技术的框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- computer science
- Computer vision and pattern recognition
- DagsHub
- Focal Embedding Loss
- Gotit.pub
- Hugging Face
- Influence Flower
- PACE
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →