实体
Token Importance In On Policy Distillation
Token Importance In On Policy Distillation
PulseAugur coverage of Token Importance In On Policy Distillation — every cluster mentioning Token Importance In On Policy Distillation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新系统按部门自动化网络威胁情报传播
研究人员开发了DisCTI，一个旨在通过准确将其映射到特定部门来自动化网络威胁情报（CTI）传播的新系统。这解决了CTI过载以及MISP等平台现有部门标记功能利用不足的关键问题。通过将问题构建为多标签分类任务并利用BERT Transformer模型，DisCTI可以自动将CTI事件分配给相关部门，从而获得高F1分数，并显著提高威胁情报的运营价值。
-
新方法增强了用于 LLM 训练的 on-policy distillation
研究人员开发了改进 on-policy distillation (OPD) 的新方法，OPD 是一种利用大型模型训练小型语言模型的技术。一种方法 TIP，通过分析学生熵和师生分歧来识别信息性 token，实现了显著的内存减少和性能提升。另一种方法 SimCT，通过扩展监督空间以包含多 token 续写来解决不同分词器的问题，恢复了丢失的信号并提高了推理和代码生成任务的性能。此外，EffOPD 通过优化更新轨迹和模块分配来加速 OPD…