第五篇:文件合并与文件归档

文件合并与文件归档

1.> 表示把>左边命令的输出内容覆盖到右边
  >> 表示把>>左边命令的输出内容追加到右边
  例:文件合并 cat a.txt b.txt>c.txt (把a.txt和b.txt合并成c.txt)
2.统计文件行数:wc -l 文件名
3.管道 | 表示把左边命令的执行结果作为右边的参数
4.创建归档文件:tar -cvf test.tar a.txt b.txt (把a.txt和b.txt打包到test.tar)
※cvf:create view filename
5.查看归档文件的内容:tar -tf test.tar
6.解包到指定位置:tar -xvf test.tar -C /temp/

文件归档与两种压缩方式

1.压缩命令:
  gzip text.txt  (->text.txt.gz)
  bzip2 text.txt (->text.txt.bz2)
2.解压缩命令
  gunzip text.txt.gz
  bunzip2 text.txt.bz2
3.打包并压缩文件
tar cvzf test.tar.gz a.txt b.txt(a.txt,b.txt打包并压缩成text.tar.gz)
打包并压缩目录:tar cvzf test2.tar.gz /tmp/* (把目录/temp下的文件及目录都打包压缩成test2.tar.gz)

原文地址:https://www.cnblogs.com/hm-blog/p/9538944.html

时间: 2024-11-08 23:33:09

第五篇:文件合并与文件归档的相关文章

将小文件合并大文件上传

自定义方法将本地多个小文件合并成一个大文件上传到HDFS上. package test; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; impo

LINUX 文件合并,去重

(1)两个文件的交集,并集前提条件:每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)cat file1 file2 | sort | uniq > file32. 取出两个文件的交集(只留下同时存在于两个文件中的文件)cat file1 file2 | sort | uniq -d > file33. 删除交集,留下其他的行cat file1 file2 | sort | uniq -u > file3(2)两个文件合并一个文件在上,一个文件在下cat file1 f

第五章 shell学习之文件的排序、合并和分割

sort命令 sort [选项] [输入文件] 选项: -c 测试文件是否已经排序,如果未被排序则输出第一个未被排序的记录 -k 指定排序的域 -m 合并两个已排序的文件,合并的文件也已经排序,如sort -m a1 a2,a1的记录被有序的插入a2 -n 根据数字的大小进行排序,一般放在域号后,如-k3n -o 将输出重定向到指定文件 -r 将排序结果逆向显示 -t 改变域分割符,如-t: -u 去除结果中的重复行 sort和awk联合 例: [[email protected] tmp]#

文件合并,归档,压缩

1.文件合并 左边命令 > 右边文件:将左边命令中的内容覆盖给右边文件 左边命令 >> 右边文件:将左边命令中的内容追加给右边文件 2.文件归档:将多个文件(或目录)合并成一个文件 文件打包:tar -cvf 打包文件名.tar  文件1 文件2 文件3 c表示创建,v表示显示打包详细信息,f表示文件名 查看打包文件中的内容:tar -tf  打包文件名.tar t表示查看,f表示文件名 解包到当前目录:tar -xvf 打包文件名.tar x表示解包,v表示显示解包详细信息,f表示文件

Linux菜鸟起飞之路【七】文件合并、归档和压缩

一.文件合并操作 1.覆盖符号与追加符号 a)">"代表将左边文件的内容覆盖右边文件的内容,如果右边文件不存在则创建这个文件 b)">>"代表将左边文件的内容追加到右边文件中,如果右边文件不存在则创建这个文件 2.echo回显命令 1 echo "我是小殇">t.txt 2 echo "我是小殇">>tbak.txt 3.文件合并 1 cat 文件A 文件B > 文件C 4.统计文件行

Python成长之路【第五篇】:Python基础之文件处理

一.文件操作 1.介绍 计算机系统分为:计算机硬件,操作系统,应用程序三部分. 我们用python或其他语言编写的应用程序若想要把数据永久保存下来,必须要保存于硬盘中,这就涉及到应用程序要操作硬件,众所周知,应用程序是无法直接操作硬件的,这就用到了操作系统.操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用,其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念,用户或应用程序通过操作文件,可以将自己的数据永久保存下来. 有了文件的概念,我们无需再去考虑操作硬盘的细节,只需要关注操作文件

文件合并与归档

内容1>文件    将左边的你内容覆盖到右边文件里面,若右边文件不存在,则会创建一个文件 内容1>>文件:  最加到文件的最后面 左边只要有输出结果,必须是文件名或文件路径 cat a.txt b.txt > c.txt 左边读出所有内容,然后覆盖到c.txt wc -l   文件路径/文件名:显示文件有多少行 管道符 |:例如:    cat   /etc/a.txt | wc -l 管道符左边的结果执行完后交给右边执行 把上一个命令的执行结果当做是下一个命令的操作参数 归档:就

第十五篇 Python之文件处理

一 文件操作  介绍 计算机系统分为:计算机硬件,操作系统,应用程序三部分. 我们用python或其他语言编写的应用程序若想要把数据永久保存下来,必须要保存于硬盘中,这就涉及到应用程序要操作硬件,众所周知,应用程序是无法直接操作硬件的,这就用到了操作系统.操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用,其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念,用户或应用程序通过操作文件,可以将自己的数据永久保存下来. 有了文件的概念,我们无需再去考虑操作硬盘的细节,只需要关注操作文件的

hive小文件合并设置参数

Hive的后端存储是HDFS,它对大文件的处理是非常高效的,如果合理配置文件系统的块大小,NameNode可以支持很大的数据量.但是在数据仓库中,越是上层的表其汇总程度就越高,数据量也就越小.而且这些表通常会按日期进行分区,随着时间的推移,HDFS的文件数目就会逐渐增加. 小文件带来的问题 关于这个问题的阐述可以读一读Cloudera的这篇文章.简单来说,HDFS的文件元信息,包括位置.大小.分块信息等,都是保存在NameNode的内存中的.每个对象大约占用150个字节,因此一千万个文件及分块就