数据增强利器--Augmentor

最近遇到数据样本数目不足的问题,自己写的增强工具生成数目还是不够,终于在网上找到一个数据增强工具包,足够高级,足够傻瓜。想要多少就有多少!再也不怕数据不够了!

简介

Augmentor是一个Python包,旨在帮助机器学习任务的图像数据人工生成和数据增强。它主要是一种数据增强工具,但也将包含基本的图像预处理功能。

特色

Augmentor是用于图像增强的软件包,重点在于提供通常用于生成机器学习问题的图像数据的操作。

Augmentor包含许多用于标准图像处理功能的类,例如Rotate 旋转类、Crop 裁剪类等等。 包含的操作有:旋转rotate、裁剪crop、透视perspective skewing、shearing、弹性形变Elastic Distortions、亮度、对比度、颜色等等;更多的操作及其参数设定,点击

数据增强通常是一个多阶段过程,Augmentor因此采用基于管道的处理方法,操作依次添加形成最终的操作管道。图像送到管道中,管道的操作依次作用到图片上形成新的图片,保存下来。

Augmentor 管道中定义的操作按照一定的概率随机地作用于图片上。

安装

控制台输入:

pip install Augmentor

安装成功。

使用Examples

分3步:

  1. 实例化Pipeline 对象,通过指定包含要处理图片所在的目录;
  2. 定义数据增强操作,crop、rotate等等,添加到pipeline中;
  3. 调用pipeline的sample(n)函数,同时指定增强后的样本总量;
import Augmentor
# 1. 指定图片所在目录
p = Augmentor.Pipeline("./images")
# 2. 增强操作
# 旋转 概率0.7,向左最大旋转角度10,向右最大旋转角度10
p.rotate(probability=0.7,max_left_rotation=10, max_right_rotation=10)
# 放大 概率0.3,最小为1.1倍,最大为1.6倍;1不做变换
p.zoom(probability=0.3, min_factor=1.1, max_factor=1.6)
# resize 同一尺寸 200 x 200
p.resize(probability=1,height=200,width=200)
# 3. 指定增强后图片数目总量
p.sample(2000)

增强后的图片文件保存在images下的output中。

总结

  • 个人认为其最大的亮点是只需要指定要增强图片所在的路径即可,不用进行读入、以及numpy数据转换;
  • 增强时只需要指定最后的数目N,无论原始图片有多少,总能生成你想要的数目!!!
  • API也高度抽象;容易理解、上手!
  • 增强后的图片会保存在指定增强图片所在目录下的output目录里;

推荐自己动手试一试。网址

原文地址:https://www.cnblogs.com/ysugyl/p/9270722.html

时间: 2024-11-08 23:50:46

数据增强利器--Augmentor的相关文章

对于机器学习中,数据增强

众所周知,数据对机器学习来说是那么的重要,但是我们通常因为各种原因得不到 理想的数据量,这时候我们就想到进行数据增强.比如添加噪声,左右镜像,随机crop 一部分等,但是有一点要注意的,就是要记住我们要机器学习的是什么特征,比如说人脸, 眼睛,嘴巴等,这时候添加噪声就不能改变这些特征.一句话:喂给机器什么数据,机器 就学什么数据.(但注意,并不是你觉得是这样,机器就真的这样,因为,机器可能通过 其他方式进行学习,所以数据量越大,机器可选择的路越少,就越有可能按照你的想法学 习对应的特征.数据量越

深度学习之图像的数据增强

在图像的深度学习中,为了丰富图像训练集,更好的提取图像特征,泛化模型(防止模型过拟合),一般都会对数据图像进行数据增强, 数据增强,常用的方式,就是旋转图像,剪切图像,改变图像色差,扭曲图像特征,改变图像尺寸大小,增强图像噪音(一般使用高斯噪音,盐椒噪音)等. 但是需要注意,不要加入其他图像轮廓的噪音. 对于常用的图像的数据增强的实现,如下: 1 # -*- coding:utf-8 -*- 2 """数据增强 3 1. 翻转变换 flip 4 2. 随机修剪 random

HLJU 1046: 钓鱼(数据增强版) (贪心+优化)

1046: 钓鱼(数据增强版) Time Limit: 1 Sec  Memory Limit: 128 MB Submit: 11  Solved: 3 [Submit][Status][Web Board] Description 在一条水平路边,有n个钓鱼湖.从右到左编号为1.2.3--.n. 佳佳有H个小时的空余时间.他希望用这些时间尽可能多的钓鱼.他从湖1出发,向右走,有选择的在一些湖边停留一定时间钓鱼.最后在某一湖边结束钓鱼. 佳佳測出从第i个湖到第i+1个湖须要走Ti分钟的路,还測

基于InfluxDB+Grafana打造大数据监控利器--转

这是一个大数据爆发的时代.面对信息的激流.多元化数据的涌现,我们在获取.存储.传输.理解.分析.应用.维护大数据时,无疑需要一种便捷的信息交流通道,以便快速.有效.准确地理解和驾驭这个过程.本文将通过时序数据库(InfluxDB)+Grafana的实践,来介绍如何将数据便捷地展现出来. 一.InfluxDB 开源的分布式时序.时间和指标数据库,使用Go语言编写,无需外部依赖.其中,时间序列数据库是数据格式里包含Timestamp字段的数据,比如某一时间用户上网流量.通话详单等.但是,有什么数据不

数据增强

Data Augmentation 水平翻转(horizontal flips),镜像操作,是数据增强的常用操作. 原文地址:https://www.cnblogs.com/zzx1905/p/9933969.html

深度学习中的数据增强技术(二)

上篇文章介绍了深度学习中数据增强技术的应用,及部分TensorFlow实现代码.废话不说了,这篇接着介绍: TensorFlow实现图片数据增强 注:类似的方法放在了代码中注释的部分,实际调试时可以分别打开运行 ③图像色彩调整 import matplotlib.pyplot as plt import tensorflow as tf # 读取图片 image_data = tf.gfile.FastGFile("data/dog3.jpg", 'br').read() # 4中调整

Python库 - Albumentations 图片数据增强库

Python图像处理库 - Albumentations,可用于深度学习中网络训练时的图片数据增强. Albumentations 图像数据增强库特点: 基于高度优化的 OpenCV 库实现图像快速数据增强. 针对不同图像任务,如分割,检测等,超级简单的 API 接口. 易于个性化定制. 易于添加到其它框架,比如 PyTorch. 1. Albumentations 的 pip 安装 sudo pip install albumentations # 或 sudo pip install -U

数据增强(尚未完成)

1. 为什么需要数据增强? (1)数据增强是扩充数据样本规模的一种有效的方法,深度学习是一种基于大数据的方法,数据的规模越大.质量越高就越好,模型也能够拥有更好的泛化能力.然而在实际采集数据的时候,往往很难覆盖全部的场景,比如光照条件,那么在训练模型的时候,就需要加入光照方面的数据增强: (2)即使拥有大量数据,也应该进行数据增强,这会有助于增加数据集中相关数据的数量.通过增强数据集,可以防止神经网络学习到不想关的模式,避免了过拟合,根本上提升了整体性能. 假设数据集有两个类别,如下图,左边是品

keras训练函数fit和fit_generator对比,图像生成器ImageDataGenerator数据增强

1. [深度学习] Keras 如何使用fit和fit_generator https://blog.csdn.net/zwqjoy/article/details/88356094 ps:解决样本数量不均衡:fit_generator中设置参数class_weight = 'auto' 2. 实现批量数据增强 | keras ImageDataGenerator使用 https://www.jianshu.com/p/3da7ffb5d950 ps:数据量不足时一定要加上数据增强 原文地址:h