EBM-NLP corpus

新的DRET方法可高效地将AI模型适配于生物医学文本挖掘

研究人员开发了Distilled Rapid Embedding Transfer (DRET)，一种将小型通用语言模型适配到生物医学文本挖掘等专业领域的新颖方法。DRET能够高效地将知识从大型领域特定模型转移到小型模型中，而无需在原始语料库上进行广泛的再训练。该方法通过迭代策略（包括嵌入转移和层冻结）实现，使得一个拥有6600万参数的模型能够达到与比其大一个数量级的模型相媲美的性能，为自动化文献综述和临床决策支持等任务提供了资源高效的解决方案。