实体
LLaVA-CoT
LLaVA-CoT
PulseAugur coverage of LLaVA-CoT — every cluster mentioning LLaVA-CoT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的MASS方法改进了LLM后训练数据选择
研究人员开发了一种名为MASS的新方法，用于为大型语言模型（LLM）后训练选择高价值数据子集。这种分层方法解决了现有方法在原始嵌入空间中测量多样性的局限性，这些方法可能会混淆主导语义方向、细粒度监督差异和局部噪声。MASS首先使用密集自动编码器学习低维主流形坐标，以进行粗粒度语义分组，然后通过TopK稀疏自动编码器在每个组内应用质量感知稀疏特征覆盖。在Vision Flan和LLaVA-CoT数据集上的实验表明，MASS的性能始终优于…
-
新的Data-DPO方法优化LLM后训练数据选择
研究人员推出了一种名为Data-DPO的新方法，用于在LLM后训练过程中选择有效的数据样本。该方法通过探测本地训练反馈，专注于候选数据与目标模型能力之间的兼容性。Data-DPO将激活差异转化为成对偏好，训练一个轻量级奖励模型，并将这些偏好与外部质量分数和多样性指标相结合，以构建最终子集。在Vision-Flan和LLaVA-CoT上的实验表明，在各种预算下，Data-DPO的性能始终优于现有的数据选择基线，甚至超过了全数据训练的性能。