实体
Huiwen Jiang
Huiwen Jiang
PulseAugur coverage of Huiwen Jiang — every cluster mentioning Huiwen Jiang across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的“考虑电路”模型超越单一Softmax的多阶段选择
研究人员引入了“考虑电路”（CC），这是一个超越单一Softmax应用的多阶段选择建模新框架。这些电路被构建为多项Logit单元的有向无环图，为菜单项分配概率，并通过加权特征摘要组合前驱分布。该研究建立了深度范数分离，证明将电路深度从二增加到三可以显著降低给定错误率所需的最佳口味向量范数。实验表明，参数少于600个的CC模型在固定池基准测试中表现更优，并且在作为输出头时，在Expedia和Trivago数据集上的表现优于其他模型。
-
新研究详细介绍了具有大型初始化的逻辑梯度下降路径
一篇新论文探讨了逻辑梯度下降轨迹的几何近似，特别是在从大型预训练模型进行初始化时。该研究引入了一条由线性段组成的连续理想路径，其中包括一个负边距校正阶段，然后是最小边距增长。当初始化规模增加时，这种近似收敛于全批量逻辑梯度下降轨迹，并为峰值和累积训练损失提供了定量误差界和渐近公式。