HuatuoGPT-o1-7B

新的审计方法揭示专业化医学AI模型的复杂权重变化

研究人员开发了一种新的方法来审计AI模型在专门用于医学任务时发生的权重变化。这种权重-delta审计方法应用于两对模型：Gemma-3-4B-IT到MedGemma-4B-IT，以及Qwen2.5-7B-Instruct到HuatuoGPT-o1-7B。研究发现，虽然解码器端的更新在很大程度上重构了在医学基准测试中观察到的改进，但专业化过程并未干净地局限于MLP等特定模型组件，这表明存在复杂的内部变动。