实体
Falcon3-7B
Falcon3-7B
PulseAugur coverage of Falcon3-7B — every cluster mentioning Falcon3-7B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的FPO方法无需反向传播即可适应LLM，提高吞吐量
研究人员开发了一种名为前向传播仅（FPO）训练的新方法，该方法无需通过模型层进行反向传播即可适应大型语言模型。与标准微调方法相比，该技术实现了显著更高的吞吐量并使用了更少的内存。FPO在域外基准测试中保持了性能，这是全网络微调不总是能复制的特性。该方法依赖于这样一个观察结果：Transformer中后期层的预测误差可以近似真实梯度，从而无需复杂的自动梯度图构建即可将误差信号直接应用于目标层。
-
人工智能安全研究揭示区域性大语言模型偏见差异
一篇新研究论文引入了一个因果分析框架，用于审计大语言模型（LLM）的安全机制，超越了观察性偏见测量。该研究应用Pearl的do-算子来分离人口统计信息注入提示的因果效应，涉及来自美国、欧洲、阿联酋、中国和印度的七个指令调优模型。研究结果表明，由于上下文毒性，标准的公平性指标可能高估人口统计偏见，并揭示了不同的对齐趋势，其中西方模型对某些群体的因果拒绝率更高，而东方模型则表现出有针对性的敏感性。