linux文件分割（将大的日志文件分割成小的）

linux下文件分割可以通过split命令来实现，可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现，非常简单。

　　在Linux下用split进行文件分割：

　　模式一：指定分割后文件行数

　　对与txt文本文件，可以通过指定分割后文件的行数来进行文件分割。

　　命令：split -l 300 large_file.txt new_file_prefix

　　模式二：指定分割后文件大小

split -b 10m server.log waynelog

对二进制文件我们同样也可以按文件大小来分隔。

在Linux下用cat进行文件合并：

　　命令：cat small_files* > large_file

时间： 2024-10-27 10:53:44

linux文件分割（将大的日志文件分割成小的）的相关文章

linux之使用cron,logrotate管理日志文件

1) logrotate配置   logrotate 程序是一个日志文件管理工具.用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做“转储”.   我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过 cron 程序来执行.   logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail . logrotate 的配置文件是 /etc/logrotate.conf  主要参数如下表: 参数                         功能   co

在Linux上使用logwatch分析监控日志文件

原文:http://seanlook.com/2014/08/23/linux-logwatch-usage/ 1. 介绍 在维护Linux服务器时,经常需要查看系统中各种服务的日志,以检查服务器的运行状态. 如登陆历史.邮件.软件安装等日志.系统管理员一个个去检查会十分不方便:且大多时候,这会是一种被动的检查,即只有在发现系统运行异常时才会想到去查看 日志以获取异常的信息.那么如何主动.集中的分析这些日志,并产生报告,定时发送给管理员就会显得十分重要. logwatch 是一款用 Perl 语

多线程读取大文件，尤其是对日志文件分析很有用。

我在之前的公司里工作的时候,他们要求我做一个能够分析IIS日志的程序,可我做来做去,也只能做到,1个G的文件读取在140秒左右.愁了很久,想到了用多线程读取大文件的方法,又发现文件读取流可以有很多个,于是我就开始编写,写出来,其效率 4核CPU,可以达到14秒,提高了10倍. 而且据我测试发现,我4个CPU,用8个线程读取效率最高,所以我想会不会是一个CPU挂2个文件流效率最高,故基本逻辑是这样的,我根据CPU核数,将文件分成8块,分成8块的时候,必定出现,一行被截断的情况,针对这种情况,我采用

linux后台启动springboot并指定日志文件名称

如果用nohup启动jar包的话,默认的日志文件就是nohup.out,那么如果启动多个jar包的话,看日志文件就麻烦了,因为他们都会写入到nohup.out文件中. 所以我们来指定一下不同jar包的日志文件名: [[email protected] ~]$ mkdir log [[email protected] ~]$ nohup java -jar dianyixia-0.0.1-SNAPSHOT.jar > log/dianyixia.log & [1] 5861 [[email p

Linux(CentOS)使用定时任务删除Tomcat日志文件

定时任务请参考CentOS7安装定时任务 1. 查看定时任务 命令:crontab -l crontab -l 2. 编辑定时任务 命令:crontab -e HELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .-----

Linux显示以log结尾的日志文件

[email protected]:~$ find -name "*.log" find: `./.gvfs': 权限不够 ./workspace/.metadata/.log ./workspace/.metadata/.plugins/org.eclipse.m2e.logback.configuration/0.log ./workspace/.metadata/.plugins/org.eclipse.rse.ui/.log ./workspace/.metadata/.plu

WAV文件有多大？MP3文件有多大？使用Lame 压缩比是多少？

一.说明: 录音文件大小多少?用什么存比较合?我有500G的硬盘存录音能存多久?...... 这些东西常用常忘,索性一次性就分析清楚记下来,方便以后查阅,如果能帮到大家那就更好了. 二.计算方法:  1) WAV文件大小计算公式:采样频率(kHz) x 采样位数 x 声道数 x 时间(秒) / 8 = 文件大小(kb) 如果采用如下的参数: 采样率:8kHz      采样位数:16     声道数: 2 那么:一分钟WAV文件的大小 = 8 x 16 x 2 x 60 / 8 = 1920KB

怎么解决apache日志文件太大的问题

原文地址:http://un173.blog.51cto.com/8263566/1598346 管理apache服务器有些年头,虽然最近几年被nginx抢了不少风头,但我依然钟爱apache. 喜欢它强劲的并发处理能力,以及forker与worker模式间自由选择的快感,哈哈. 熟悉linux下apache运维的朋友,多少都会遇到过apache日志文件太大的问题,网站刚上线时不会在意到这个问题,因为流量小,自然error.log与access.log文件内容也就少,文件容量不大,因此,配置时也

Nginx按天分割轮询日志文件

使用linux系统自带的日志轮询工具logrotate logrotate 介绍 ------------------------------------- logrotate 程序是一个日志文件管理工具.用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做"转储".我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过cron 程序来执行. logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail . logrotate 的配置文件是/etc