实体
CC12M
CC12M
PulseAugur coverage of CC12M — every cluster mentioning CC12M across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
KALE 方法通过自适应损失均衡改进 CLIP 视觉表示
研究人员开发了 KALE（Kernel Alignment with Loss Equilibration，核对齐与损失均衡），一种通过与 DINOv2 等以视觉为中心的教师模型对齐来改进 CLIP 视觉表示的新颖方法。与以往在网络规模的嘈杂数据上表现不佳的方法不同，KALE 自适应地重新缩放对齐权重以保持信号完整性。该技术需要显著增加对齐权重和特定的学习率计划以获得稳定性，但最终在 SVHN 等基准测试中提高了图像-文本检索和零样本性能。
-
PivotMerge框架整合多模态大语言模型对齐能力
研究人员推出了一种新颖的框架PivotMerge，旨在整合不同多模态大语言模型（MLLMs）的跨模态对齐能力。该方法解决了预训练模型合并中的挑战，特别是跨域参数干扰和对齐中层贡献不均的问题。PivotMerge利用共享空间分解和过滤，以及对齐引导的层级合并，来有效地结合这些专家模型。在多模态基准测试上的实验表明，PivotMerge在桥接异构预训练方面优于现有方法。