Linux培训教程 linux系统下分割大文件的方法

在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取。

  有时,需要传输20gb的大文件,Linux培训

教程件到另一台服务器,也需要把它分割成多个文件,这样便于传输数据。

  以下通过五个不同的例子,来讲解Linux下分割大文件的方法,供大家参考。

  例1、以每个文件1000行分割

  split命令分割文件成每个文件1000行,并且文件名依次为 [前缀]aa,[前缀]ab, [前缀]ac等,默认的前缀是X,每个文件的行数为1000行。

  命令:

  复制代码代码如下:

  $ split mylog -l 1000

  $ wc -l *

  4450 mylog

  1000 xaa

  1000 xab

  1000 xac

  1000 xad

  450 xae

  例2、以每个文件20MB分割

  分割文件为多个20MB的文件,附带-b选项。

  命令:

  复制代码代码如下:

  $ split -b 20M logdata

  $ ls -lh | tail -n +2

  -rw------- 1 sathiyasathiya 102M Jul 25 18:47 logdata

  -rw------- 1 sathiyasathiya 20M Jul 25 19:20 xaa

  -rw------- 1 sathiyasathiya 20M Jul 25 19:20 xab

  -rw------- 1 sathiyasathiya 20M Jul 25 19:20 xac

  -rw------- 1 sathiyasathiya 20M Jul 25 19:20 xad

  -rw------- 1 sathiyasathiya 20M Jul 25 19:20 xae

  -rw------- 1 sathiyasathiya 1.6M Jul 25 19:20 xaf

  例3、以每个文件50MB指定前缀分割

  使用–bytes选项把文件分割成多个50MB的文件,–bytes类似-b选项,在第二个参数指定前缀。

  命令:

  复制代码代码如下:

  $ split --bytes=50M logdatamydatafile

  $ ls -lh

  total 204M

  -rw------- 1 sathiyasathiya 102M Jul 25 18:47 logdata

  -rw------- 1 sathiyasathiya 50M Jul 25 19:23 mydatafileaa

  -rw------- 1 sathiyasathiya 50M Jul 25 19:23 mydatafileab

  -rw------- 1 sathiyasathiya 1.6M Jul 25 19:23 mydatafileac

  例4、基于行数分割文件

  使用-l选项指定行数来把文件分割成多个行数相同的文件。

  命令:

  复制代码代码如下:

  $ wc -l testfile

  2591 testfile

  $ split -l 1500 testfileimportantlog

  $ wc -l *

  1500 importantlogaa

  1091 importantlogab

  2591 testfile

  例5、以数字后缀命名分割文件

  使用-d选项可以指定后缀为数字,如00,01,02..,而不是aa,ab,ac。

  命令:

  复制代码代码如下:

  $ split -d testfile

  $ ls

  testfile x00 x01 x02

  可用选项

  复制代码代码如下:

  短选项 长选项 选项描述

  -b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

  -C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

  -d –numeric-suffixes 使用数字作为后缀。

  -l –lines=NUMBER NUMBER 值为每一输出档的列数大小。</p> <p>短选项 长选项 选项描述

  -b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

  -C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

  -d –numeric-suffixes 使用数字作为后缀。

  -l –lines=NUMBER NUMBER 值为每一输出档的列数大小。

时间: 2024-12-08 07:14:17

Linux培训教程 linux系统下分割大文件的方法的相关文章

不使用软件在Win7下查找大文件的方法

最近发现了一种可以不使用软件在win7系统下查找大文件的方法,分享如下: 第一步:打开我的电脑,进入要查找文件的磁盘.然后找到上边的搜索栏,如图: 第二步:在搜索栏中输入"大小:",如图: 第三步:输入完成后,在搜索栏下会弹出一个选项栏,可以选择查找文件的大小范围,如图: 第四步:可以直接选择需要查找的文件大小范围,如我选择巨大的查找结果如图: 第五步:如果感觉巨大的范围还是不够大,可以自己填写软件大小的查找范围,如"大小:>3GB"或"大小:>

Linux培训教程 linux下修改用户权限的方法

一般我们日常碰到要修改用户权限的,往往是要么修改一下用户的gorupid,通过上面命令可以改;要么是把普通用户改成具有超级权限的用户,这个一般自己不能直接改,只能是root或有root权限的用户才能帮你改,在/etc/passwd文件里面,找到对应userid那一行,将userid那一列你的id改成0,然后强制保存退出.这时候你的这个用户就有超级用户权限了.改用户的groupid也可以这样改. 如果是改某个文件的属性,就比较简单了,直接用chmod命令就可以了,我一般直接后面接数字,如果要给rw

Linux培训教程 linux中nl命令使用介绍

nl命令在linux系统中用来计算文件中行号.nl 可以将输出的文件内容自动的加上行号!其默认的结果与 cat -n 有点不太一样, nl 可以将行号做比较多的显示设计,包括位数与是否自动补齐 0 等等的功能.兄弟连linux培训 小编介绍一下:linux中 nl 命令使用介绍. 1.命令格式: nl [选项]... [文件]... 2.命令参数: -b :指定行号指定的方式,主要有两种: -b a :表示不论是否为空行,也同样列出行号(类似 cat -n); -b t :如果有空行,空的那一行

Linux系统下查找大文件或目录的技巧

命令行如下 find . -type f -size +1000000k 当硬盘空间不够时,我们就很关心哪些目录或文件比较大,看看能否干掉一些了,怎么才能知道呢? #已易读的格式显示指定目录或文件的大小,-s选项指定对于目录不详细显示每个子目录或文件的大小 du -sh [dirname|filename] 如: 当前目录的大小: du -sh . 当前目录下个文件或目录的大小: du -sh * [[email protected] var]# du -sh *12K     account1

linux下查找大文件的方法

在运维过程中,有时候会遇到磁盘使用率的报警问题: 只要处理方法有以下几种: 1.找磁盘使用率较高的目录,du命令 du -sh /* 列出根目录下,所有目录的大小 然后在去目录下,慢慢分析吧 2.找文件大小,find命令 例如: 查找磁盘上大于20MB的文件 find / -size +20000k -exec ls -lh {} \; 查找磁盘上大于400MB的文件,直接删除,一般都是日志文件 find / -size +400000k -exec rm -rf  {} \; --未完待续

系统清理——查找大文件

在系统中查找大文件的方法: 1. 统计当前文件夹的文件(或文件夹)大小.并依照从大到小的顺序排序 du -s /home/* | sort -nr * -h已易读的格式显示指定文件夹或文件的大小 * -s选项指定对于文件夹不具体显示每一个子文件夹或文件的大小 2. 查找大于100M的文件.并显示具体信息 find . -type f -size +100M -exec ls -lh {} \; find的处理动作能够是: -print     默觉得输出 -ls         显示查找到的文件

Linux培训教程 Git在linux下的使用

Linux培训教程 Git在linux下的使用  *初始化git仓库,使用git init命令 *添加文件到git仓库分两步: 1.使用git add filename ;可分多次使用,添加多个文件到暂存区 2.使用git commit -m "说明" ;完成提交到分支 兄弟连linux培训教程  Git在linux下的使用 *查看工作区状态,使用git status 命令;如果提示有修改可使用git diff filename 查看修改内容 *HEAD指向当前版本,HEAD^表示上一

linux下利用split分割大文件

使用split分割大文件 在我们的实际生产环境中,会产生许许多多的大文件,这些文件的大小不一,有的甚至会有好几十T的大小,那么我们对这些文件进行分析时,又该如何下手呢?这时我们便可以使用linux下自带的一个命令split来实现文件的分割. Split对文件的分割支持按照行数的分割,以及支持按照大小分割两种模式.要说明的是,在二进制文件中,没有'行'的概念,所以二进制文件无法使用行分割,而只能按照文件的大小来进行分割. 本次实验自行分割出一个500M大小的文件,如下图: 我们来对这个模拟文件进行

linux下分割合并文件命令

分割与合并文件操作. 分割与合并文件 有时候大文件分割后更方便传输.以一张图片为例:分割:默认分割 12345678910111213 [[email protected] shell]$ ls -lh总用量 1.5M-rwxrwxrwx 1 jimo jimo 1.5M 9月 17 20:31 1.png[[email protected] shell]$ split 1.png [[email protected] shell]$ ls -lh总用量 2.9M-rwxrwxrwx 1 jim