如何在Linux系统通过命令行生成随机文件

版权声明:本文由胡恒威原创文章,转载请注明出处: 
文章原文链接:https://www.qcloud.com/community/article/86

来源:腾云阁 https://www.qcloud.com/community

是否会有这样的场景:在有需要测试数据的时候,你不知如何生成一些已包含测试数据的文件;或者你是临时需要一个小的程序,可以让你生成不同大小的文件(比如大于1Mb少于100Mb),不需要从网络上去搜寻查找如何生成,这里有一些简单的方法帮你偷懒。

1.当你不需要关心随机文件的内容,只需一个固定大小的文件

  • Solaris、Mac OS X等Unix系统中mkfile指令,可以产生指定大小的文件,而Linux上则没有
    例子:mkfile -n 160g test1
  • Linux可以用dd指令,/dev/zero是一个特别的文件描述符可以通过它返回null值
    例子:dd if=/dev/zero of=test.file count=1024 bs=1024
    产生count * bs字节的文件,1M
    此方法生成随机文件的好处在于效率高(产生1G文件大概1s),创建的文件大小精确到字节
    坏处也有
    使用null字符来填充文件内容,文件统计时没有行(wc -l test.file为0)

2.当你不需要关心随机文件的内容,但期望测试文件能有统计的行

/dev/zero改为/dev/urandom/dev/urandom是linux下的随机数生成器

关于/dev/urandom/dev/random两者的区别就不在此详细讨论,大概就是,前者是不受系统interrupts的限制,即使没有足够的interrupt它也能通过随机数生成器产生足够的输出值;而后者如果用在dd上,它不能被ctrl+c或者kill -9中断,如果ds的值较大时,产生的随机值不足而长期占用CPU。虽然说/dev/random产生的随机数会更随机些,但与dd混用还是建议用/dev/urandom效率更高。

缺点跟/dev/zero比当然是效率会更低些了,生成个100Mb的文件需要10秒左右,而且文件并没有可读的内容,一般的情况基本上是满足了。

漏了说句,dd是linux与unix都支持的指令。

3.当你关心文件的随机内容行数,而不关心内容是否有所重复

这里的思路就是找一个参照文件(比如说2行),将文件重新定向到新的文件,再mv覆盖保存,外加一个for循环。(n为循环次数,产生的文件行为2^(n+1))

例子:假设先建立一个file.txt文件,里面含有Hello 和 World两行
for i in {1..n}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

由于是阶乘,n=20左右已经是200W行,效率会下降地比较厉害

4.当你关心随机文件的内容,而不想出现重复内容行情况

这种情况下系统的指令应该是不能满足了,或者可以通过操作系统的指令写一大串脚本也可以达到,但不建议这么做,因为可读性和维护性考虑,你应该要引入Ruby或者Python类的脚本语言帮忙了
但还是要借助些系统的东西来帮忙

思路:/usr/share/dict/words里面有记录一些单词,一共235886行,每行一个单词
可以从里面挑选一些作为文件的内容
加循环达到我们想要的随机文件要求

举例:ruby -e ‘a=STDIN.readlines;X.times do; b=[];Y.times do; b<<a[rand(a.size)].chomp end; puts b.join(" ")‘ < /usr/share/dict/words > file.txt

X为随机文件需要的行数,Y为从words中读取的单词,虽说组合成一句的命令,还是可以读懂的;从标准输入中重复读取Y个单词,写入到b列表中,然后再通过join空格连接内容写入到标准输出文件file.txt中

这样基本很少会有重复的行了,而且生成的效率与其他方法对比还是可以的,10秒生成100Mb文件。欢迎大家讨论。

参考:

mkfile的Apple官方文档:
https://developer.apple.com/library/mac/documentation/Darwin/Reference/Manpages/man8/mkfile.8.html
dd的wiki:
http://en.wikipedia.org/wiki/Dd_(Unix)

时间: 2024-10-12 11:11:50

如何在Linux系统通过命令行生成随机文件的相关文章

如何在Linux下使用命令行嗅探HTTP流量

通常我们在调试Web应用.RESTFUL服务或者排错PAC (proxy auto config) 以及检查是否有恶意访问等会去通过错误日志日志或者嗅探数据包的方式去排错:常见的嗅探数据包软件有tcpdump.wireshark;但是针对HTTP需要对数据包进行过滤,显示格式也更不容易读,Httpry工具就能更方便易读的嗅探HTTP流量 安装httpry 基于Debian(Ubuntu or Linux Mint),基础库并没有httpry包,我们用源码来安装 1 2 3 4 5 $ sudo

[转帖]如何在Linux上使用命令行查看硬件信息

如何在Linux上使用命令行查看硬件信息 时间:2016-01-13   作者:admin 分类:新手入门 阅读:126次 http://embeddedlinux.org.cn/emb-linux/entry-level/201601/13-4889.html lscpu 原来更简单.. 在 Linux 中,可用于检查和查看硬件信息的命令有很多.其中某些命令可以输出特定硬件和信息,例如:CPU 和内存等.本教程列出一些 Linux 上查看硬件信息的常用命令,以帮助大家快速输出硬件的配置细节.

RH124-01 熟悉Linux系统的命令行及GNOME3的图形界面

实验环境: 主机名IP地址角色 desktop0.example.com  172.25.0.10/24客户端机器 server0.example.com  172.25.0.11/24服务端机器 classroom.example.com   172.25.254.254/24中央服务器 desktop和server虚拟机上有普通用户student,密码为 desktop和server虚拟机上有root用户,密码为 第一章 熟悉Linux系统的命令行及GNOME3的图形界面 1.1 通过本地终

python学习笔记(8)-实现linux系统python命令行光标移动

本节点标题1.实现python命令行光标移动1.1.首先查看有没有安装readline-devel1.2.其次查看readline-devel正确的包名并安装1.3.最终编译安装python =======================================================================================================================1.实现python命令行光标移动在linux系统里,python移动

【转载】【Centos linux系统】命令行(静默)安装oracle 11gR2

[原文]:http://blog.chinaunix.net/uid-23886490-id-3565998.html 一.安装前准备 1.内存及swap要求 至于swap如何添加,后文将提到 grep MemTotal /proc/meminfo grep SwapTotal /proc/meminfo 2.硬盘空间 3.修改主机名,及ip对应关系 --设置主机名,也可以直接修改配置文件/etc/sysconfig/network,不过这个是重启之后才起作用 #sed -i "s/HOSTNA

【Centos linux系统】命令行(静默)安装oracle 11gR2

[原文]:http://blog.chinaunix.net/uid-23886490-id-3565998.html 一.安装前准备 1.内存及swap要求 至于swap如何添加,后文将提到 1 2 grep MemTotal /proc/meminfo grep SwapTotal /proc/meminfo 2.硬盘空间 3.修改主机名,及ip对应关系 --设置主机名,也可以直接修改配置文件/etc/sysconfig/network,不过这个是重启之后才起作用 #sed -i "s/HO

Linux(CentOS 7)命令行模式安装VMware Tools 详解

本篇文章主要介绍了如何在Linux(CentOS 7)命令行模式安装VMware Tools,具有一定的参考价值,感兴趣的小伙伴们可以参考一下. 本例中为在Linux(以CentOS 7为例)安装VMware Tools. 1.首先启动CentOS 7,在VMware中点击上方"VM",点击"Install VMware Tools..."(如已安装则显示"Reinstall VMware Tools..."). 2.在命令行输入"ls

Mac OSX系统、Linux、Windows命令行教程

Mac OSX系统.Linux.Windows命令行教程 一.各系统终端的使用方法 二.各系统命令的功能 用你的终端做一些事情 (command line, Terminal, PowerShell). 一.各系统终端的使用方法 Mac OSX 在Mac OSX系统上,你应该 按住 command 键,并敲空格键. 屏幕顶部会弹出一个蓝色的"搜索框". 输入"terminal". 点击终端应用程序,这个程序的图标看起来有点像一个黑盒子. 终端就打开了. 现在你可以在

如何在Linux系统上安装字体

如何在Linux系统上安装字体 最后更新 2015年12月11日 分类 Linux 101 最新文章 标签 font linux 字体 一般电脑用户使用的字体大部分属于TrueType字体,TrueType字体文件的扩展名是.ttf,ttf就是TrueType Font的首字母缩写.这篇教程将向读者介绍如何在Linux系统上安装TrueType字体.本文先介绍通用的安装方式,不管你用的是哪个Linux发行版,都可以用这种方法来安装.然后介绍Debian系和Redhat系发行版安装字体的一些捷径或