CC12M
PulseAugur coverage of CC12M — every cluster mentioning CC12M across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架审计用于AI训练的图像-文本数据集
研究人员开发了一个新的框架，用于审计用于训练文本到图像模型的图像-文本数据集。该框架名为匹配预算审计框架（Matched-Budget Audit Framework），根据标注策略、标注者和源语料库分析监督分布。它提供了一个涵盖提示端覆盖率、忠实度和标注健康度的五轴画像，使用可控基本单元（CBUs）作为通用指标。当应用于七个公共语料库时，该框架揭示了每张标注的CBU有所改善，并突出了不同标注模型和预算下标注长度与密度之间的权衡。
-
KALE 方法通过自适应损失均衡改进 CLIP 视觉表示
研究人员开发了 KALE（Kernel Alignment with Loss Equilibration，核对齐与损失均衡），一种通过与 DINOv2 等以视觉为中心的教师模型对齐来改进 CLIP 视觉表示的新颖方法。与以往在网络规模的嘈杂数据上表现不佳的方法不同，KALE 自适应地重新缩放对齐权重以保持信号完整性。该技术需要显著增加对齐权重和特定的学习率计划以获得稳定性，但最终在 SVHN 等基准测试中提高了图像-文本检索和零样本性能。
-
PivotMerge框架整合多模态大语言模型对齐能力
研究人员推出了一种新颖的框架PivotMerge，旨在整合不同多模态大语言模型（MLLMs）的跨模态对齐能力。该方法解决了预训练模型合并中的挑战，特别是跨域参数干扰和对齐中层贡献不均的问题。PivotMerge利用共享空间分解和过滤，以及对齐引导的层级合并，来有效地结合这些专家模型。在多模态基准测试上的实验表明，PivotMerge在桥接异构预训练方面优于现有方法。