08-pytorch(批数据训练)

import torch
import torch.utils.data as Data
BATCH_SIZE = 5
x = torch.linspace(1,10,10)
y = torch.linspace(10,1,10)

这个是打乱数据,然后在 依次的慢慢的按步伐的取出,当不足够的时候,就吧剩下的取出来(自适应)

# 格式下x,y
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(
    # 数据
    dataset=torch_dataset,
    # 尺寸
    batch_size = BATCH_SIZE,
    # 是否事先打乱数据
    shuffle = True,
    # 采用的线程数目
    num_workers=2,
)
for epoch in range(3):
    # 第一个是次数,第二个是值
    for step,(batch_x,batch_y) in enumerate(loader):
        # training...
        print('Epoch:',epoch,'|Step',step,'|Batch x:',batch_x.numpy(),
             '|batch y:',batch_y.numpy())
Epoch: 0 |Step 0 |Batch x: [ 8. 10.  7.  9.  1.] |batch y: [ 3.  1.  4.  2. 10.]
Epoch: 0 |Step 1 |Batch x: [3. 4. 5. 6. 2.] |batch y: [8. 7. 6. 5. 9.]
Epoch: 1 |Step 0 |Batch x: [3. 9. 5. 6. 7.] |batch y: [8. 2. 6. 5. 4.]
Epoch: 1 |Step 1 |Batch x: [10.  4.  2.  1.  8.] |batch y: [ 1.  7.  9. 10.  3.]
Epoch: 2 |Step 0 |Batch x: [10.  5.  7.  1.  6.] |batch y: [ 1.  6.  4. 10.  5.]
Epoch: 2 |Step 1 |Batch x: [4. 3. 2. 9. 8.] |batch y: [7. 8. 9. 2. 3.]

原文地址:https://www.cnblogs.com/liu247/p/11152902.html

时间: 2024-10-29 19:21:55

08-pytorch(批数据训练)的相关文章

批数据训练

Torch中有一种整理你数据结构的东西:DataLoader,它能够包装你的数据,并且进行批训练. 一:相关操作 1:包的导入: import torch.utils.data as Data      初始数据: x = torch.linspace(1 , 10, 10) y = torch.linspace(10, 1, 10) 2:包装数据类: # 先转换成 torch 能识别的 Dataset #torch_dataset = Data.TensorDataset(data_tenso

pytorch张量数据索引切片与维度变换操作大全(非常全)

(1-1)pytorch张量数据的索引与切片操作1.对于张量数据的索引操作主要有以下几种方式:a=torch.rand(4,3,28,28):DIM=4的张量数据a(1)a[:2]:取第一个维度的前2个维度数据(不包括2):(2)a[:2,:1,:,:]:取第一个维度的前两个数据,取第2个维度的前1个数据,后两个维度全都取到:(3)a[:2,1:,:,:]:取第一个维度的前两个数据,取第2个维度的第1个索引到最后索引的数据(包含1),后两个维度全都取到:(4)a[:2,-3:]:负号表示第2个维

Caffe下自己的数据训练和测试

在caffe提供的例程当中,例如mnist与cifar10中,数据集的准备均是通过调用代码自己完成的,而对于ImageNet1000类的数据库,对于高校实验室而言,常常面临电脑内存不足的尴尬境地.而对于应用者而言,用适合于自己条件的的数据集在caffe下训练及测试才是更重要的.所以我们有必要自己做数据库以及在caffe上训练及测试. 1,数据准备 在data中新建文件夹myself,我们截取了ImageNet1000类中的两类-panda与sea_horse,训练panda的图片24张,测试pa

Pytorch:数据增强与标准化

本文对transforms.py中的各个预处理方法进行介绍和总结.主要从官方文档中总结而来,官方文档只是将方法陈列,没有归纳总结,顺序很乱,这里总结一共有四大类,方便大家索引: 裁剪——Crop 中心裁剪:transforms.CenterCrop 随机裁剪:transforms.RandomCrop 随机长宽比裁剪:transforms.RandomResizedCrop 上下左右中心裁剪:transforms.FiveCrop 上下左右中心裁剪后翻转,transforms.TenCrop 翻

caffe:用自己的数据训练网络mnist

画黑底白字的软件:KolourPaint. 假设所有"1"的图片放到名字为1的文件夹下.(0-9类似)..获取每个数字的名称文件后,手动表上标签.然后合成train.txt 1.获取文件夹内全部图像的名称: find ./1 -name '*.png'>1.txt //此时的1.txt文件中的图像名称包括路劲信息,要把前面的路径信息去掉. $ sudo sed -i "s/.\/1\///g" 1.txt          //(\表示转义,所以这里用双引号而

Pytorch 多GPU训练-多计算节点并行-All you need

概述 本篇介绍多计算节点上的pytorch分布式训练.从环境配置到运行demo的所有步骤,step by step.没有理论原理,理论原理可以参考这里. 基础环境 多台linux计算节点,通过网络连接,不同主机之间可以相互ping通.网速越快越好,如果通信速度比较慢,就不用怎么考虑分布式训练. 所有linux计算节点都包含若干GPU,GPU数量可以不一致,但是所有GPU计算速度尽量一致,否则模型的同步时会等待大量时间(短板效应). 所有计算节点都拥有Pytorch运行环境,即都可以单独的运行训练

pytorch 多GPU 训练

import osos.environ['CUDA_VISIBLE_DEVICES'] = '0, 1, 2'import torch #注意以上两行先后顺序不可弄错 device = torch.device('cuda') model = DataParallel(model)model.to(device) 这样模型就会在gpu 0, 1, 2 上进行训练 原文地址:https://www.cnblogs.com/rabitvision/p/12218986.html

pytorch将cpu训练好的模型参数load到gpu上,或者gpu->cpu上

假设我们只保存了模型的参数(model.state_dict())到文件名为modelparameters.pth, model = Net() 1. cpu -> cpu或者gpu -> gpu: checkpoint = torch.load('modelparameters.pth') model.load_state_dict(checkpoint) 2. cpu -> gpu 1 torch.load('modelparameters.pth', map_location=la

TensorFlow实战-AlexNet

1 # 导入数据 2 from tensorflow.examples.tutorials.mnist import input_data 3 # 读取数据 4 mnist=input_data.read_data_sets("MNIST_data/",one_hot=True) 5 import tensorflow as tf 6 7 # 定义卷积操作函数 8 def conv2d(name,x,w,b): 9 return tf.nn.relu(tf.nn.bias_add(tf