transfer learning
PulseAugur coverage of transfer learning — every cluster mentioning transfer learning across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
AI框架通过保证的不确定性区间提高了光网络的可靠性
研究人员开发了一个保形风险控制(CRC)框架,以提高用于光网络的AI/ML回归模型的可靠性。这种事后方法为预测提供了统计上保证的不确定性区间,改进了运营决策。该框架应用于质量传输(QoT)感知光通路可行性评估,与传统的量化回归相比,在领域转移下显示出决策准确性的显著提高。
-
论文质疑迁移学习的泛化假设
一篇新的论文探讨了迁移学习在深度学习中的有效性,质疑了在源任务上的强泛化是否能保证向相关目标任务的迁移能力。研究假设情况并非如此,并采用对抗性攻击来寻找反例。实证结果表明,源任务泛化与迁移能力之间存在显著关系,尽管它们并未明确证否泛化是成功迁移的充分条件。
-
AI模型在资源受限环境下进行物联网DDoS检测的评估
一项新的研究论文评估了在资源受限的物联网(IoT)环境中检测分布式拒绝服务(DDoS)攻击的几种预训练卷积神经网络架构。该研究使用CICDDoS2019数据集和基于图像的流量表示,根据准确性、可靠性、计算成本和可解释性评估了模型。DenseNet和MobileNet架构表现出强大的性能和可靠性,其中MobileNet显示出高准确性,而DenseNet169提供了卓越的定性可解释性。
-
深度学习增强脑血管成像的4D流MRI · 追踪2个来源
研究人员开发了一种深度学习模型,可提高脑血管成像的4D流MRI扫描分辨率。通过利用合成预训练和多队列迁移学习,该卷积神经网络与传统插值方法相比,实现了更低的误差率和更好的血管描绘。这一进展有望在不同患者队列中实现更精确的血管造影和血流动力学分析,支持其在多中心研究中的验证。
-
新的对比学习方法优化了不平衡数据集的表示几何
研究人员开发了一个新的理论框架,用于理解有监督对比学习中的表示几何,特别是在长尾分布的数据集上。他们的分析表明,现有方法未能形成规则单纯形几何,因为它们仍然依赖于每个类别的样本数量。为了解决这个问题,他们引入了一种“结构平衡”技术和一个完全平衡的对比目标,该目标在理论上可以在其最优状态下形成规则单纯形,从而在长尾识别和迁移学习任务中提高了性能。
-
PYTHIA框架使用迁移学习进行材料优化
研究人员推出PYTHIA,一个新颖的机器学习框架,旨在优化材料的缺陷和吸附位点等性质。PYTHIA利用基础模型和迁移学习,使用一个复杂的预训练模型,然后通过一个转换器层和用于不确定性量化的斯高斯过程进行微调。这种方法使得该框架即使在数据集有限的情况下也能有效,使其适用于新的和研究不足的材料。该系统已被证明能够有效地识别复杂化学系统中的最佳吸附位点。
-
新的迁移学习框架提升可见光室内定位精度
研究人员开发了一种新颖的迁移学习框架,以提高可见光通信(VLC)系统中的室内定位精度,特别适用于工业4.0应用。该框架通过在目标区域的较小子集测量数据上微调预训练的深度神经网络,显著减少了部署所需的数据量,恢复了超过97%的完整数据性能。引入了一个新的指标——迁移效率得分(TES),用于识别最有效的迁移源模型,从而实现了低至40.9厘米的定位误差,并展示了强大的泛化能力。
-
新算法优化强化学习中的动作掩码
研究人员开发了一种新的强化学习算法,解决了确定允许动作的计算瓶颈问题。该算法基于确定性乐观优化,被证明在极小极大意义上是最优的且计算效率高,尽管在非退化实例上并非最优。提出了一种替代方法,该方法规划其探索策略,并可被形式化解释为确定性反馈的信息定向采样类似物,并应用于无效动作随时间变化的迁移学习场景。
-
新的迁移学习方法在回归中实现 minimax-最优缩放
研究人员开发了一种用于高维回归迁移学习的新方法,重点关注通过预训练模型可实现的性能改进。他们的工作为涉及预训练源模型和微调目标模型的两步程序的风险建立了确定性等价物。该研究确定了一种特定机制,在该机制中,该方法实现了 minimax-最优缩放定律,其中最优源正则化仅取决于源数据,表明其在不同目标任务中具有普遍性。实验结果支持了这些发现,包括在合成数据和语言模型上的实验,并且使用单遍随机梯度下降进行微调也可以实现最优速率。
-
AI模型估算油井压力,性能超越物理传感器
研究人员开发了一种机器学习模型来估算油井井底压力,为物理传感器提供了一种经济高效的替代方案。该研究利用长短期记忆(LSTM)和迁移学习,在巴西盐下盆地真实海上数据集上实现了低于2%的平均绝对百分比误差。该方法旨在通过在各种储层和流动条件下提供准确的压力数据来改进生产优化和安全性。
-
新的生成模型方法增强了条件分布相等性测试
研究人员开发了一种新颖的条件分布相等性测试方法,这是因果推断和迁移学习等领域中的一个关键问题。这种新方法利用生成模型,通过使用真实和合成数据样本来比较条件分布。该方法旨在在高维条件变量的处理中保持统计功效,在实证评估中优于现有的基于核的方法。
-
新的迁移学习模型提升建筑控制性能
研究人员开发了一种新颖的零样本迁移学习方法,用于建筑物的模型预测控制(MPC)。该方法利用在基于激励的运行数据上预训练的广义模型,这些数据专门探测建筑物的状态-动作空间。当在未经微调的情况下应用于 32 个模拟目标建筑物时,这些基于激励的模型表现出卓越的控制性能,比在线基于线性模型的 MPC 提高了 6.4%,比 PI 控制器提高了 36.9%。通过消除对特定目标数据的需求,该方法显著降低了在建筑行业部署 MPC 的成本和复杂性。
-
新的基于散度的相似性函数增强了多视图对比学习
研究人员为多视图对比学习开发了一种新的基于散度的相似性函数(DSF),旨在更好地捕捉多个增强数据视图之间的联合结构。与以往关注成对关系的方法不同,DSF将视图表示为分布,并通过它们的散度来衡量相似性。实验表明,DSF在kNN分类和迁移学习等各种任务中提高了性能,同时效率更高,并且不像余弦相似性那样需要温度超参数。
-
迁移学习增强电子-原子核截面模型
研究人员利用迁移学习开发了用于电子-原子核截面的数据驱动模型。这些模型最初在碳数据上训练,然后针对氦、锂、氧、铝、钙和铁等各种其他元素进行了微调。微调后的模型在所有目标上都显示出改进的性能,改进程度与可用数据的数量、质量和运动学域重叠度相关。即使对于原始训练数据之外的运动学配置,该方法也显示出鲁棒性。
-
深度学习模型利用众包数据对星系形态进行分类
研究人员采用了一种深度神经网络,特别是卷积神经网络(CNN),利用Galaxy Zoo 1数据集中众包的标注来对星系形态进行分类。该研究探索了各种训练策略,包括微调整个网络与仅微调最后一层、引入分层分类以及通过课程学习利用迁移学习。结果表明,训练所有网络层可将准确率显著提高10%,而迁移学习对于有限数据尤其有效。研究结果表明,尽管与硬标注相比,使用众包标注进行训练存在独特的挑战,但通过仔细的方法可以实现高准确率。
-
新的多任务学习模型可预测葡萄耐寒性
研究人员开发了使用循环神经网络(RNN)的多任务学习(MTL)方法,以从时间序列天气数据预测葡萄耐寒性。该方法解决了不同植物栽培品种的地面真实数据稀疏和有限的挑战。研究表明,某些MTL架构的性能优于单任务学习和现有科学模型,并且在相关的物候期预测任务方面也显示出潜力。
-
迁移学习:利用预训练模型处理新任务
本文解释了迁移学习的概念,这是一种机器学习技术,其中在一项任务上训练的模型被重新用于第二个相关任务。它强调了使用预训练的神经网络如何能显著减少新任务对大量数据和计算资源的需求。该过程涉及利用从初始训练中获得的知识来提高新目标上的性能和效率。
-
AI概念解析:现代AI指南
本文用通俗易懂的语言解释了构成现代人工智能的15个核心概念。它涵盖了机器学习、深度学习、神经网络和自然语言处理等基础领域。该指南还深入探讨了Transformer、大型语言模型和注意力机制等更高级的主题,旨在揭示ChatGPT和Claude等AI系统的工作原理。
-
New Sobolev Regularized Score Difference Estimator for Diffusion Models
研究人员开发了一种估计扩散模型中分数差值的新方法,这对于迁移学习和训练后调整等任务至关重要。这种Sobolev正则化分数差值估计器具有统计一致性和可扩展性,在现有方法中表现更优,尤其是在高维和小样本场景下。该方法实现了 $O(n^{-rac{s-1}{d+2s-2}})$ 的收敛速率,并在心电图信号生成等应用中展示了实际效果。
-
迁移学习和人工智能在阿尔茨海默病诊断方面展现出潜力
一篇新的综述文章探讨了迁移学习(TL)技术在利用神经影像数据诊断阿尔茨海默病(AD)中的应用。文章强调了TL如何通过利用预训练模型来提高诊断准确性,尤其是在处理有限数据集时。文章还讨论了将可解释人工智能(explainable AI)整合到基于TL的AD诊断系统中,以增强理解并指导神经退行性疾病检测的未来研究。