text classification
PulseAugur coverage of text classification — every cluster mentioning text classification across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
ICARE框架解决了跨域文本分类中的灾难性遗忘问题
研究人员开发了ICARE,一个旨在提高自然语言推理(NLI)系统性能的新框架,特别是在跨域文本分类方面。该框架解决了灾难性遗忘问题,即NLI系统在训练新任务时会丢失先前学到的知识。ICARE利用基于表示学习的实例选择模块来选择最优训练样本,并采用在特征和logit层面转移知识的知识蒸馏方法。在基准数据集上的评估表明,ICARE显著提高了目标准确性并减少了遗忘,使得NLI系统在不同任务中更具适应性和有效性。
-
GoiBERT:紧凑型越南语语言模型实现高性能
研究人员开发了GoiBERT,这是一个新系列的紧凑型越南语语言模型,旨在实现高效部署。这些模型拥有2600万和4900万参数,在包括文本分类和情感分析在内的各种基准测试中均表现出色。GoiBERT-large在同等规模的非教师模型中表现最佳,而GoiBERT-base的尺寸仅为强基线模型的四分之一,但性能却保持了近99%。这些模型通过两阶段知识蒸馏过程进行学习,利用互补的教师模型。
-
FraQ方法通过高效重压缩改进了用于LLM的联邦LoRA
研究人员推出了一种名为FraQ的新方法,用于大型语言模型联邦低秩自适应(LoRA)的高效坐标空间重压缩。该方法通过重压缩聚合后的因子来解决联邦LoRA中固有的聚合不匹配问题。FraQ通过将堆叠的因子分解为正交基和紧凑的坐标矩阵来实现这一点,然后从Gram矩阵中恢复奇异谱。实验表明,FraQ在保持与未压缩基线相当的准确性的同时,显著降低了下行通信和服务器端重压缩的开销。
-
新的TAKE方法将文本数据集蒸馏至0.1%大小,同时保持任务保真度
研究人员开发了一个名为轨迹感知知识估计(TAKE)的新框架,用于文本数据集蒸馏。该方法显著减小了大型文本语料库的大小,缩小到其原始大小的0.1%,同时保持了下游任务的性能。TAKE量化了每个样本对训练目标的贡献,并使用这些分数来选择信息量大的样本进行蒸馏,在文本分类和自然语言推理任务中显示出有效性。
-
新方法优化了计算资源受限情况下的基础模型微调
研究人员开发了一种基于强化学习的方法,利用 actor-critic 算法,来优化资源受限设备上基础模型的持续微调。该方法解决了在考虑计算成本和性能指标的情况下,决定何时使用传入数据微调模型的问题。该方法将问题构建为约束马尔可夫决策过程,并在准确性方面取得了显著改进,在使用仅 25% 的微调步骤的情况下,达到了全参数微调性能的 97%。
-
Embedding 模型:LLM 上下文和检索的核心
Embedding 模型是大型语言模型 (LLM) 的基础,尤其是在检索增强生成 (RAG) 中。这些模型将文本等高维数据转换为低维向量空间,从而促进相似性搜索并捕捉语义关系。这个过程对于 LLM 理解上下文和从数据库中检索相关信息至关重要,增强了文本分类、情感分析和问答等任务。
-
ModTGCN 通过模块化感知图网络增强文本分类
研究人员开发了 ModTGCN,这是一种新颖的图神经网络,通过整合模块化感知来增强文本分类。该方法优化了标准的交叉熵损失和一个基于模块化的辅助目标,该目标鼓励在语义图中形成与类别一致的文档社区。为了提高效率,ModTGCN 将图分解为文档-词语和词语-词语组件,从而将训练速度提高了两到十倍。在五个基准数据集上的实验表明,性能持续提升,尤其是在同质性较低的数据集上。