实体
Flan
Flan
PulseAugur coverage of Flan — every cluster mentioning Flan across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
微调大型语言模型：数据量取决于行为还是覆盖范围
微调大型语言模型需要仔细考虑数据量，因为所需数据量取决于目标是教授特定行为还是覆盖广泛的输入。对于狭窄的行为目标，几百个示例可能就足够了，而覆盖整个输入空间则需要更多的数据，这取决于输入的 D 还是模型容量。建议通过在具有相同超参数的不同数据集大小（25%、50%、100%）上进行训练来通过经验测试，以确定最佳数据策略并避免过度训练导致的记忆等问题。
-
MERIT管道实现去中心化LLM指令调优
研究人员开发了MERIT，一种新颖的去中心化指令调优管道，旨在克服大型语言模型中的梯度干扰和同步瓶颈。该方法包括估计数据集级别的梯度冲突，沿着这些冲突轴划分模型混合体，然后独立微调每个分区，最后进行一次合并步骤。MERIT在多模态和纯文本任务上展示了改进的性能，其效果与集中式训练相当或更优，同时通信开销显著降低。