小白学习之pytorch框架(2)-动手学深度学习(begin)

在这向大家推荐一本书-花书-动手学深度学习pytorch版,原书用的深度学习框架是MXNet,这个框架经过Gluon重新再封装,使用风格非常接近pytorch,但是由于pytorch越来越火,个人又比较执着,想学pytorch,好,有个大神来了,把《动手学深度学习》整本书用pytorch代码重现了,其GitHub网址为:https://github.com/ShusenTang/Dive-into-DL-PyTorch   原书GitHub网址为:https://github.com/d2l-ai/d2l-zh    看大家爱好,其实客观的说哪个框架都行,只要能实现代码,学会一个框架,另外的就好上手了。菜鸟的见解哈,下面是个人感觉重要的一些

  索引(x[:,1])出来和view()改变形状后,结果数据与原数据共享内存,就是修改其中一个,另外一个会跟着修改。类似于数据结构中的链表,指向的地址是同一个

  若是想不修改原数据,可以用clone()返回一个副本再修改:x.clone().view(5,3)

  item():把一个标量tensor转成python number

梯度

  标量out:out.backward()    #等价于out.backward(torch.tensor(1))

  张量out:调用backward()时需要传入一个和out同形状的权重向量进行加权求和得到一个标量

想要修改tensor的值但又不想被autograd记录(不会影响反向传播),可以通过tensor.data来操作

x = torch.tensor(1.0, requires_grad=True)
print(x.data)       # tensor(1.)
print(x.data.requires_grad)  # False
y = 2 * x
x.data *= 100
y.backward()
print(x)     # tensor(100.,requires_grad=True)
print(x.grad)     # tensor(2.)    不是tensor(200.),因为用x.data计算不被记录到计算图内

线性回归实现    参考《动手学深度学习》第三章深度学习基础-线性回归的从零开始实现

  这真是一本不错的书,我个人感觉

  %matplotlib inline:在开头导入包前加入这个,可以在后面使用matplotlib画图时不用每次都调用pyplot.show()

  

  上面的图中,圈1是通过display包设置图像显示的文件格式为svg(可以算是目前最火的图像文件格式)

  圈2中的rcParams()函数可以设置图形的各种属性,圈2是设置图像尺寸大小,还有

plt.rcParams[‘image.interpolation‘] = ‘nearest‘ #设置插值plt.rcParams[‘image.cmap‘] = ‘gray‘    # 设置颜色plt.rcParams[‘figure.dpi‘] = 300   # 每英寸的点数(图片分辨率)plt.rcParams[‘savefig.dpi‘] = 300    # 图片像素plt.rcParams[‘font.sans-serif‘] = ‘SimHei‘  # 设置字体plt.rcParams[‘font.size‘] = 10.0 #设置字体大小plt.rcParams[‘hist.bins‘] = 10 #设置直方图分箱个数plt.rcParams[‘lines.linewidth‘] = 1.5 #设置线宽plt.rcParams[‘text.color‘] = ‘red‘  #设置文本颜色# 还有其他参数可以百度看看

  圈3是画散点图,前两个参数是x,y,为点的横纵坐标,第三个是点的大小。其他的参数可百度

  记录一下这段读取数据的代码,由于本人太菜了,好不容易查懂不想再重新查

def data_iter(batch_size, features, labels):  # 这里batch_size:10  features:(1000,2)的矩阵 labels是经过线性回归公式计算得到的预测值,labels=X*w+b
    num_examples = len(features)              # features:(1000,2)  len(features):1000
    indices = list(range(num_examples))       # [0,1,2...,999]
    random.shuffle(indices)                   # 将一个列表中的元素打乱,例子见下面
    for i in range(0, num_examples, batch_size):    # 0-1000,step=10  [0,10,20,...,999]
        j = torch.LongTensor(indices[i:min(i + batch_size, num_examples)])  # 取indice值,并且返回成一个tensor。最后一次可能不足一个batch故用min函数
        yield features.index_select(0, j), labels.index_select(0, j) #       

yield的理解请移步,https://blog.csdn.net/mieleizhi0522/article/details/82142856  很好理解的,感谢博主了

random.shuffle()  # 将一个数组打乱

    li = list(range(5))  # [0,1,2,3,4]
    random.shuffle(li)   # 作用于li列表,而不是print(random.shuffle(li)),这是输不出来的
    print(li)    # [3,1,0,4,2]

torch之torch.index_select(x,1,indices)  # x即要从其中(tensor x中)选择数据的tensor;1代表列,0代表行;indices筛选时的索引序号

  x.index_select(n,index)  #  n代表从第几维开始,index是筛选时的索引序号

 可以参考博客,感谢博主 https://www.jb51.net/article/174524.htm

数据特征和标签组合

import torch.utils.data as Data

batch_size = 10
dataset = Data.TensorDataset(features,labels)   #把训练数据的特征和标签(y值)
data_iter = Data.DataLoader(dataset, batch_size,shuffle=True)  #读取批量数据,批量大小为batch_sizefor X, y in data_iter:  # 这样才能打出    print(X, y)    break

 搭建模型:

  方法1:使用nn.Module定义

from torch import nn
class LinearNet(nn.Module):
    def __init__(self, n_feature):
        super(LinearNet, self).__init__()
        self.linear = nn.Linear(n_feature, 1)

    # 定义前向传播
    def forward(self, x):
        y = self.linear(x)
        return y

net = LinearNet(num_inputs)
print(net)  #显示网络结构

  方法2:使用nn.Sequential

# nn.Sequential搭建网络
# 写法1
net = nn.Sequential(
        nn.Linear(num_inputs, 1)
        # 还可加入其他层
)

# 写法2
net = nn.Sequential()
net.add_module(‘linear‘, nn.Linear(num_inputs, 1))
 # net.add_module.....
# 写法3
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
    (‘linear‘, nn.Linear(num_inputs, 1))
    # ......
]))

print(net)
print(net[0])

原文地址:https://www.cnblogs.com/JadenFK3326/p/12094419.html

时间: 2024-10-03 22:42:06

小白学习之pytorch框架(2)-动手学深度学习(begin)的相关文章

DataWhale 动手学深度学习PyTorch版-task3+4+5:文本预处理;语言模型;循环神经网络基础

课程引用自伯禹平台:https://www.boyuai.com/elites/course/cZu18YmweLv10OeV <动手学深度学习>官方网址:http://zh.gluon.ai/ ——面向中文读者的能运行.可讨论的深度学习教科书. 第二次打卡: Task03: 过拟合.欠拟合及其解决方案:梯度消失.梯度爆炸:循环神经网络进阶 Task04:机器翻译及相关技术:注意力机制与Seq2seq模型:Transformer Task05:卷积神经网络基础:leNet:卷积神经网络进阶 有

分享《动手学深度学习》高清PDF+视频教程-李沐著

下载:https://pan.baidu.com/s/10EKdEe-vjp9i97xP1FWuGA 更多资料学习:http://blog.51cto.com/14087171 由 MXNet 创始人李沐大神.Aston Zhang 等人所著的交互式书籍<动手学深度学习>推出了在线预览版,面向在校学生.工程师和研究人员,旨在帮助读者从入门到深入.动手学习深度学习,即使是零基础的读者也完全适用. 在本书上线之前,李沐等人还推出了<动手学深度学习>系列视频,这门课程的第一季已经于今年

分享《动手学深度学习(李沐等著)》PDF+源代码+《神经网络与深度学习(吴岸城)著》PDF

下载:https://pan.baidu.com/s/11O2m_uxSWJGbkXHF2Zh94w 更多资料:https://pan.baidu.com/s/1g4hv05UZ_w92uh9NNNkCaA <动手学深度学习(李沐等著)> 中文PDF,530页,带书签目录,文字可以复制粘贴.配套源代码. <神经网络与深度学习 (吴岸城)著>中文PDF,233页,带书签目录. 如图: 原文地址:https://www.cnblogs.com/limujun/p/10054478.ht

对比《动手学深度学习》 PDF代码+《神经网络与深度学习 》PDF

随着AlphaGo与李世石大战的落幕,人工智能成为话题焦点.AlphaGo背后的工作原理"深度学习"也跳入大众的视野.什么是深度学习,什么是神经网络,为何一段程序在精密的围棋大赛中可以大获全胜?人工智终将会取代人类智慧吗? <神经网络与深度学习>是一本介绍神经网络和深度学习算法基本原理及相关实例的书籍,它不是教科书,作者已尽量把公式减少到最少,以适应绝大部分人的阅读基础和知识储备.<神经网络与深度学习>涵盖了神经网络的研究历史.基础原理.深度学习中的自编码器.深

【动手学深度学习】Jupyter notebook中 import mxnet出错

问题描述 打开d2l-zh目录,使用jupyter notebook打开文件运行,import mxnet 出现无法导入mxnet模块的问题, 但是命令行运行是可以导入mxnet模块的. 原因: 激活环境是能够运行代码的前提. 解决方法: 在d2l-zh目录运行conda activate gluon命令,然后再打开jupyter notebook,则可以正常导入mxnet模块. 参考 1. d2l-zh-doc; 2. [动手学深度学习]中Jupyter notebook中 import mx

动手学深度学习第一课:从上手到多类分类-Autograd

使用autograd来自动求导 在机器学习中,我们通常使用梯度下降来更新模型参数从而求解.损失函数关于模型参数的梯度指向一个可以降低损失函数值的方向,我们不断地沿着梯度的方向更新模型从而最小化损失函数.虽然梯度计算比较直观,但对于复杂的模型,例如多达数十层的神经网络,手动计算梯度非常困难. 为此MXNet提供autograd包来自动化求导过程.虽然大部分的深度学习框架要求编译计算图来自动求导,mxnet.autograd可以对正常的命令式程序进行求导,它每次在后端实时创建计算图从而可以立即得到梯

动手学深度学习 3-5 Others

其他问题 1. 模型选择.欠拟合和过拟合 1.1 训练误差和泛化误差 1.2 模型选择 1.2.1 验证数据集 1.2.2 \(K\) 折交叉验证 由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈.一种改善的方法是\(K\)折交叉验证(\(K\)-fold cross-validation).在\(K\)折交叉验证中,我们把原始训练数据集分割成\(K\)个不重合的子数据集,然后我们做\(K\)次模型训练和验证.每一次,我们使用一个子数据集验证模型,并使用其他\(K-

动手学深度学习 4 Deep-learning-computation

4. deep-learning-computaion 4.1 模型构造 4.1.1 继承Block来构造模型 Block类是nn模块里提供的一个模型构造类,我们可以继承它来定义我们想要的模型也可以继承它来构造层. 事实上,Sequential类继承自Block类.当模型的前向计算为简单串联各个层的计算时,可以通过更加简单的方式定义模型.这正是Sequential类的目的:它提供add函数来逐一添加串联的Block子类实例,而模型的前向计算就是将这些实例按添加的顺序逐一计算,且无需定义forwa

动手学深度学习PyTorch版-task02

task0201.文本预处理 代码解读 import collections import re with open('timemachine.txt', 'r', encoding='UTF-8') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f] print(lines) In[8]: lines[0] Out[8]: 'the time machine' In[9]: lines[1] Ou