实体
Threshold Gating
Threshold Gating
PulseAugur coverage of Threshold Gating — every cluster mentioning Threshold Gating across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的CPR方法用于LLMs，以对抗领域适应中的灾难性遗忘
研究人员开发了一种名为关键点路由（CPR）的新方法，用于解决大型语言模型（LLMs）在领域适应过程中出现的灾难性遗忘问题。CPR通过仅在必要时选择性地调用微调的专家模型来解耦通用能力和领域特定能力，其判断依据是基础模型表现不佳的关键标记。该方法旨在在提高LLM在特定领域的性能的同时，保持其通用知识，并以最小的开销取得了最先进的结果。
-
新的阈值门控原语重塑神经网络非线性
研究人员提出了一种称为阈值门控（TG）的新原语，它可以实现神经非线性，这是传统上由激活函数处理的功能。该TG原语被证明等同于ReLU和Sigmoid等标准激活函数，并且可以在不损失性能的情况下从现有神经网络架构转换而来。研究表明，TG有望在模型压缩、训练效率和硬件实现方面带来改进，特别是通过减少对模数转换器的需求，从而有利于模拟内存系统。