实体
Pretrained Models
Pretrained Models
PulseAugur coverage of Pretrained Models — every cluster mentioning Pretrained Models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
持久同调跟踪微调过程中大型语言模型的表征变化
研究人员采用持久同调来分析大型语言模型在监督微调过程中的内部表征动态。他们的研究检查了四种 Transformer 模型（10亿至70亿参数）和三种对齐目标（有益、无害、混合），发现大多数拓扑变化发生在训练早期，随后趋于稳定。研究结果表明，不同的对齐目标会导致不同的拓扑轨迹，并且经过指令微调的模型与预训练模型演变方式不同，这为超越行为指标的模型对齐提供了新的视角。
-
新方法改进LLM微调以提升性能
研究人员开发了改进大型语言模型监督微调（SFT）的新方法。一种方法FisherAdapTune利用Fisher信息几何动态选择参数组进行适应，增强了分布内性能和零样本迁移能力。另一组方法，包括Target-SFT和PriFT，将SFT重新解释为目标分布设计。这些技术旨在通过更好地将微调过程与模型的预训练知识对齐，来创建更稳定有效的训练目标，从而在各种推理和代码生成任务上取得最先进的结果。