实体
reasoning tasks
reasoning tasks
PulseAugur coverage of reasoning tasks — every cluster mentioning reasoning tasks across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的Groundhog Bit-Flip攻击利用MoE LLM，导致大规模输出膨胀
研究人员开发了一种名为Groundhog Bit-Flip Attack (GBFA)的新攻击方法，该方法针对混合专家（MoE）大型语言模型。该攻击利用了MoE架构中的路由机制，其中特定专家可以与特定token相关联。通过操纵路由层比特，GBFA可以导致模型输出长度显著膨胀，在对话、推理和代理任务中，解码token使用量平均增加了5912%。该攻击仅需禁用少量专家即可实现，凸显了MoE设计中的鲁棒性漏洞。
-
新方法改进LLM微调以提升性能
研究人员开发了改进大型语言模型监督微调（SFT）的新方法。一种方法FisherAdapTune利用Fisher信息几何动态选择参数组进行适应，增强了分布内性能和零样本迁移能力。另一组方法，包括Target-SFT和PriFT，将SFT重新解释为目标分布设计。这些技术旨在通过更好地将微调过程与模型的预训练知识对齐，来创建更稳定有效的训练目标，从而在各种推理和代码生成任务上取得最先进的结果。