深度学习几种典型架构

介绍几种典型的深度学习架构。

卷积神经网络(CNN)

卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。

典型的卷积网络有两部分。 第一个是负责特征提取,由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器,将提取的特征作为输入。如下图所示。

卷积神经网络架构

长短期记忆网络(LSTM)

长短期记忆网络是比较流行的一种网络结构。

LSTM架构

长短期记忆网络用两个门来控制单元状态的内容,一个是遗忘门(forget gate),决定了上一时刻的单元状态有多少能够保留到当前时刻;一个是输入门(input gate),决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。

GRU

GRU是 LSTM 的简化版,但在大多数任务中其表现与 LSTM 不相伯仲。

GRU和LSTM对比

相比LSTM, GRU 有更少的参数,因此相对容易训练且过拟合的问题要轻一些,在训练数据较少时可以尝试使用GRU。

更简化的有迷你GRU。

迷你GRU

DB-LSTM

深度双向LSTM

深度双向LSTM

卷积残差记忆网络

卷积残差记忆网络是CNN和LSTM的一种结合。

卷积残差记忆网络架构

Dynamic NTM

Evolvable Neural Turing Machines

Unsupervised Domain Adaptation By Backpropagation

Deeply Recursive CNN For Image Super-Resolution

Recurrent Model Of Visual Attention

MLP with synthetic www.taohuaqing178.com  gradients

Google’s Neural Machine Translation System

headers = {"User-Agent"www.xgLL521.com: "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36", "X-Requested-With": "XMLHttpRequest", "Accept": "*/*"} async def get_source(url): print("正在操作:{}".www.dongfan178.com format(url)) conn = aiohttp.TCPConnector(verify_ssl=False) # 防止ssl报错,其中一种写法 async with aiohttp.ClientSession(connector=conn) as session: # 创建session async with session.get(url, headers=headers, timeout=10) as response: # 获得网络请求 if response.status == 200: # 判断返回的请求码 source = await www.ysyl157.com response.text() # 使用await关键字获取返回结果 print(source) else: print("网页访问失败") if __name__=="__main__": url_format = "https://tu.fengniao.com/ajax/ajaxTuPicList.php?page={}&tagsId=15&action=getPicLists" full_urllist= [url_format.format(i) for i in range(1,21)] event_loop = asyncio.get_event_loop() #创建事件循环 tasks = [get_source(url) for url in full_urllist] results = event_loop.run_until_complete(asyncio.wait(tasks)) #等待任务结束

原文地址:https://www.cnblogs.com/qwangxiao/p/10147477.html

时间: 2024-11-29 06:58:52

深度学习几种典型架构的相关文章

拓展深度学习一种变相的马尔可夫链

你可以创建一个递归神经网络一个字符一个字符地学习语言特征.但是这个结果模型与为同样目的设计的马尔可夫链有什么不同呢?本文用R实现了一个字符-字符的马尔可夫链来一探究竟. Andrej Karpathy的文章<递归神经网络不可思议的有效性>(The Unreasonable Effectiveness of Recurrent Neural Networks)在去年名噪一时.其基本假设是你可以创建一个递归神经网络一个字符一个字符地学习语言特征.但是这个结果模型与为同样目的设计的马尔可夫链有什么不

深度学习之概述(Overview)

2016年被称为人工智能的元年,2017年是人能智能应用的元年:深度学习技术和应用取得飞速发展:深度学习在互联网教育场景也得到广泛应用.本文主要介绍机器学习及深度学习之定义及基本概念.相关网络结构等. 本文主要内容包括机器学习的定义及组成分类.深度学习的定义.深度学习和机器学习的区别.神经网络基本概念及基本结构.深度学习的相关核心概念(基本假设.数据集.表示.泛化.容量.优化.超参数.误差.欠拟合.过拟合.正则化).两种典型深度网络结构(CNN.RNN)基本介绍. 引言 人工智能究竟能够做什么?

TensorFlow【机器学习】:如何正确的掌握Google深度学习框架TensorFlow(第二代分布式机器学习系统)?

本文标签:   机器学习 TensorFlow Google深度学习框架 分布式机器学习 唐源 VGG REST   服务器 自 2015 年底开源到如今更快.更灵活.更方便的 1.0 版本正式发布,由 Google 推出的第二代分布式机器学习系统 TensorFlow一直在为我们带来惊喜,一方面是技术层面持续的迭代演进,从分布式版本.服务框架 TensorFlow Serving.上层封装 TF.Learn 到 Windows 支持.JIT 编译器 XLA.动态计算图框架 Fold 等,以及

一箭N雕:多任务深度学习实战

1.多任务学习导引 多任务学习是机器学习中的一个分支,按1997年综述论文Multi-task Learning一文的定义:Multitask Learning (MTL) is an inductive transfer mechanism whose principle goal is to improve generalization performance. MTL improves generalization by leveraging the domain-specific inf

基于Spark的异构分布式深度学习平台

导读:本文介绍百度基于Spark的异构分布式深度学习系统,把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题,在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力,使用YARN对异构资源做分配,支持Multi-Tenancy,让资源的使用更有效. 深层神经网络技术最近几年取得了巨大的突破,特别在语音和图像识别应用上有质的飞跃,已经被验证能够使用到许多业务上.如何大规模分布式地执行深度学习程序,使其更好地支持不同的业务线成为当务之急.在过去两年,百

回望2017,基于深度学习的NLP研究大盘点

回望2017,基于深度学习的NLP研究大盘点 雷锋网 百家号01-0110:31 雷锋网 AI 科技评论按:本文是一篇发布于 tryolabs 的文章,作者 Javier Couto 针对 2017 年基于深度学习的自然语言处理研究进行了大盘点.雷锋网 AI 科技评论根据原文进行了编译. 在过去的几年里,深度学习(DL)架构和算法在诸如图像识别和语音处理等领域取得了世人瞩目的进步.然而在最开始的时候,深度学习在自然语言处理(Natural Language Processing, NLP)领域的

免费领取16套深度学习权威实践课,从零基础小白到大牛

摘要:想学习人工智能却无从下手,听过两三遍网课还是不懂什么是卷积神经网络,好不容易啃完了视频却发现没源码没法调参跑代码,快来AI Studio课程!免费优质课程,系统化学习, 名师指导,提供真实开发案例,在线实训调参,提升学习效果,带你快速入行人工智能! 很多学习AI算法的人都很痛苦,尤其是希望进入大热的深度学习领域的你,是否遇到过以下囧境? 网上有大量的学习资料,质量参差不齐,且不知道知该从何学起: 听过两三遍网课,还是不懂什么是卷积神经网络: 好不容易啃完了视频却发现没源码,没法调参跑代码,

人工智能、机器学习和深度学习之间的区别与联系

大家都知道,在2016年,Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段.在媒体描述DeepMind胜利的时候,将人工智能(AI).机器学习(machine learning)和深度学习(deep learning)都用上了.这三者在AlphaGo击败李世乭的过程中都起了作用,但它们说的并不是一回事. 今天就用最简单的方法——可视化的展现它们三者的关系和应用. 如上图,人工智能是最早出现的,也是范围最大的:其次的机器学习,稍晚一点:最内侧,是深度学习,当今人工智能大

7种深度学习工具介绍

1)TensorFlow TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统,其命名来源于本身的运行原理. –Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从图像的一端流动到另一端的计算过程. –TensorFlow是将复杂的数据结构,传输至人工智能神经网中进行分析和处理过程的系统. TensorFlow表达了高层次的机器学习计算,可被用于语音识别或图像识别等多项机器深度学习领域. –TensorFl