实体
Haoran Zhang
Haoran Zhang
PulseAugur coverage of Haoran Zhang — every cluster mentioning Haoran Zhang across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
FedRot-LoRA 改进了大型语言模型的联邦学习
研究人员开发了 FedRot-LoRA，一个旨在提高大型语言模型联邦学习效率和稳定性的新框架。该方法解决了旋转失准问题，即语义等价的更新在不同客户端可能表示在不同的潜在子空间中，导致聚合错误。通过在聚合前通过正交变换对客户端更新进行对齐，FedRot-LoRA 在不增加通信成本的情况下保留了语义更新并减少了子空间不匹配。实验表明，FedRot-LoRA 在各种异质性水平和 LoRA 秩上均优于现有的联邦 LoRA 基线。
-
新方法提高了大型语言模型对安全和行为规范的遵守程度
研究人员推出了一种名为Align3的新方法，旨在提高大型语言模型对特定安全和行为指南的遵守程度。该技术利用具有分层反思和修订的测试时审议（TTD）来帮助模型在定义的规范边界内进行推理。为了评估这一点，开发了一个名为SpecBench的新基准，涵盖了各种场景和提示。实验表明，包括Align3在内的TTD方法显著增强了规范对齐，并以最小的计算开销改善了安全-有用性权衡。