linux下利用split分割大文件

使用split分割大文件

在我们的实际生产环境中，会产生许许多多的大文件，这些文件的大小不一，有的甚至会有好几十T的大小，那么我们对这些文件进行分析时，又该如何下手呢？这时我们便可以使用linux下自带的一个命令split来实现文件的分割。

Split对文件的分割支持按照行数的分割，以及支持按照大小分割两种模式。要说明的是，在二进制文件中，没有‘行’的概念，所以二进制文件无法使用行分割，而只能按照文件的大小来进行分割。

本次实验自行分割出一个500M大小的文件，如下图：

我们来对这个模拟文件进行分割，注意文件中为空！

在上图中，我们可以看到，该文件为data类型，-l参数为按照行数分割，500代表500行分为一个文件，在上面实验中，我们可以看到只有一个文件被分割出来，但是如果是一个500M的文件，行数应该不止500行，但是却只分割出一个文件，所以这个文件就可以模拟二进制文件进行分割，要按照大小来进行分割：

如上图，我们对这个文件按照大小64M进行分割，分割出来很多的小文件，而多与出来不够64M的文件则放在一个文件中，并且分割出来的文件名会按照默认的顺序进行排列。

接下来，我们来按照行数进行分割：

在上图中，我们将/etc/passwd文件复制过来，可以看到该文件中有52行，我们按照20行的大小来进行分割，则会分割出三个小文进，文件的命名方式同样是按照默认顺序命名，不足行数大小的默认放在一个文件中。

我们通过split对大文件进行分割，可以得到许多的小文件，这样我们在日常工作中对文件的分析便会简单许多，并且会提高很多的效率。