有关迁移学习论文

Application of Transfer Learning in Continuous Time Series for Anomaly Detection in Commercial Aircraft Flight Data

https://ieeexplore.ieee.org/document/8513709

论文开始介绍了用于处理时间序列的两个主要的模型RNN和LSTM,同时介绍了什么是迁移学习

一 迁移学习的方法

1 基于样例的迁移学习(instance-based transfer-learning )

这种方法以重新加权的方式重用目标域中源域中的部分数据。在这种情况下,实例重新加权和重要性抽样是两种主要的技术。

2 基于特征的迁移学习( feature-representation-transfer method)

这种方法是在源域中不断学习,从数据中提取好的特征,然后以代码的形式迁移到目标域中。 使用新的特征表示,目标任务的性能有望显著提高。

3 参数迁移

当模型建立时,它假定源域和目标域之间的一些参数是相同的。在迁移过程中,这些参数只需要直接从源域复制到目标域集,通过发现共享的参数或先验,就可以跨任务传递知识。

4 关系迁移

这种方法比较抽象。在机器学习领域中,各个领域的要素都会呈现出一定的关系,而对这些关系的充分理解可以帮助我们建立更好的模型。关系-知识-转移方法是指在具有相似关系结构的两个领域之间转移对这种关系的理解。

例如:老板和员工之前开会的关系和老师与学生上课的关系有相似之处,这种关系可以迁移。

二 三类迁移学习

   1 归纳迁移学习:在这类任务中,无论源域和目标域是否相同,目标任务都与源任务(Ts ≠Tt)不同。

    2 直推式迁移学习:在这个类别中,目标域不同于源域(Ds≠ DT),而它们的任务是相同的(TS=TT)

    3 非监督迁移学习:就像归纳转移学习一样,任务与源任务不同,但又相关。

时间序列问题不同于分类问题。它变化较大,时间序列标签的特征空间不像分类问题那么有限(图相识别属于分类问题)。它需要在源域中构建和训练一个模型,潜在的数据更改存储在权重中。

三 试验

数据集是 商用飞机飞行数据

1 将连续时间序列转换为监督学习数据(这个我的博客有提),规范化数据集。

2 建立LSTM和全连接层的训练模型

3 训练出一个比较好的模型,保存权重把它用于目标域。

4 使用较少的数据集来训练这个模型,获得最终的迁移模型。

四 模型的评估

结果表明使用迁移学习后使用少量的训练集和相同的迭代次数时的准确性要高于没有使用迁移学习的模型,并且可以从损失函数的曲线看出。

五 总结

迁移学习的确可以提高准确性和减少时间的消耗,但是它的使用要求也有限制,有的时候反而会适得其反,目前为止我看到的迁移学习用于时间序列的论文,大多使用LSTM,GRU模型,在相似时间序列中的迁移。似乎看上去整体的步骤相似,没有突破之处。他们的研究往往仅限于表面,并没有深入的研究数据,我认为迁移学习的运用应该更加广泛,那么可以从细化时间序列上,或者通过变换,现在有个大致方向。

原文地址:https://www.cnblogs.com/zhxuxu/p/10508572.html

时间: 2024-10-20 15:07:05

有关迁移学习论文的相关文章

NASNet学习笔记——?? 核心一:延续NAS论文的核心机制使得能够自动产生网络结构; ?? 核心二:采用resnet和Inception重复使用block结构思想; ?? 核心三:利用迁移学习将生成的网络迁移到大数据集上提出一个new search space。

from:https://blog.csdn.net/xjz18298268521/article/details/79079008 NASNet总结 论文:<Learning Transferable Architectures for Scalable Image Recognition> 注 ??先啥都不说,看看论文的实验结果,图1和图2是NASNet与其他主流的网络在ImageNet上测试的结果的对比,图3是NASNet迁移到目标检测任务上的检测结果,从这图瞬间感觉论文的厉害之处了,值

7种常见的迁移学习的代码+论文+简介

最近调研了不少迁移学习的工作,分享给大家.因为我感觉迁移学习在NLP领域的很多任务中有很大的利用价值,毕竟高质量的标注数据是很少的,而人工标注费时费力,而且质量不一定好. 1. Domain Adaptation 领域自适应 1.1 动机 领域自适应是一种迁移学习,它将不同源领域的数据或特征映射到同一个特征空间,以便于利用其源领域数据或特征来增强目标领域的训练,进而达到更好的训练效果.领域自适应学习不要求训练数据和测试数据一定具有相同的分布. 1.2 目的 利用数据或特征更多的源领域来提升数据或

Sebastian Ruder : NLP 领域知名博主博士论文面向自然语言处理的神经网络迁移学习

Sebastian Ruder 博士的答辩 PPT<Neural Transfer Learning for Natural Language Processing>介绍了面向自然语言的迁移学习的动机.研究现状.缺陷以及自己的工作. Sebastian Ruder 博士在 PPT 中阐述了使用迁移学习的动机: state-of-the-art 的有监督学习算法比较脆弱: 易受到对抗样本的影响 易受到噪音数据的影响 易受到释义的影响 现实中的自然语言处理面临着多领域.多语种上的多种类型的任务,为

迁移学习全面概述:从基本概念到相关研究

目录: 1.什么是迁移学习? 2.为什么现在需要迁移学习? 3.迁移学习的定义 4.迁移学习的场景 5.迁移学习的应用 从模拟中学习 适应到新的域 跨语言迁移知识 6.迁移学习的方法 使用预训练的 CNN 特征 学习域不变的表征 让表征更加相似 混淆域 7.相关的研究领域 半监督学习 更有效地使用可用的数据 提高模型的泛化能力 让模型更加稳健 多任务学习 持续学习 zero-shot 学习 8.总结 ------------------------------------------------

1、VGG16 2、VGG19 3、ResNet50 4、Inception V3 5、Xception介绍——迁移学习

ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks,原作者保留版权 卷积神经网络在视觉识别任务上的表现令人称奇.好的CNN网络是带有上百万参数和许多隐含层的"庞然怪物".事实上,一个不好的经验规则是:网络越深,效果越好.AlexNet,VGG,Inc

迁移学习综述

参考论文:A Survey on Transfer Learning 1.Introduction 在机器学习和数据挖掘中有一个很普遍的假设就是训练数据和测试数据来源于统一特征空间并服从相同的分布.而当测试数据分布发生改变之后,我们又不得不从新收集同分布的训练数据并从新训练模型.这在真实的应用中去从很难去重新收集数据并建模,而且给原始数据人工标签的代价也很昂贵.在这些情况下,迁移学习可以很好的解决这些问题. 什么是迁移学习?用一句话概述就是基于已有的知识可以更快的学习新的知识.例如一个人会下象棋

TensorFlow从1到2(九)迁移学习

迁移学习基本概念 迁移学习是这两年比较火的一个话题,主要原因是在当前的机器学习中,样本数据的获取是成本最高的一块.而迁移学习可以有效的把原有的学习经验(对于模型就是模型本身及其训练好的权重值)带入到新的领域,从而不需要过多的样本数据,也能达到大批量数据所达成的效果,进一步节省了学习的计算量和时间. MobileNet V2是由谷歌在2018年初发布的一个视觉模型,在Keras中已经内置的并使用ImageNet完成了训练,可以直接拿来就用,这个我们在本系列第五篇中已经提过了.MobileNet V

DNN结构构建:NAS网络结构搜索和强化学习、迁移学习

DNN结构构建:NAS网络结构搜索和强化学习.迁移学习 2018年05月14日 15:23:20 wishchin 阅读数 2537更多 分类专栏: ANN/DNN/纤维丛 前言 谷歌推出的NASNet架构,用于大规模图像分类和识别.NASNet架构特点是由两个AutoML设计的Layer组成——Normal Layer and Reduction Layer,这样的效果是不再需要相关专家用human knowledge来搭建卷积网络架构,直接用RNN把Hyperparameter计算出来,这样

百分点认知智能实验室出品:深度迁移学习十八问

编者按 深度迁移学习是基于深度神经网络的迁移学习方法,BERT通过预训练模型达到深度迁移学习的效果,自从2018年底BERT横空出世以来,就以势不可挡的姿态横扫了众多榜单,甚至在阅读理解任务SQuAD 中超越人类水平.BERT在公检法.媒体出版.军工.快消零售等工业界也迅速落地,如百分点智能对话系统.百分点智能审校系统和百分点智能翻译系统等.BERT几乎在所有的下游任务中效果都获得了明显提升,BERT自此开创了一个NLP的新时代,那就是pre-train + fine-tuning的时代. 基于