hadoop 搭建 常用命令记录
快捷键安装在/user/local/bin目录下
- nano 文件名
ctrl + k 剪切一行
ctrl + o 保存并重命名，不重命名直接enter
ctrl + x 退出
ctrl + u 粘贴 - 启动： start-dfs.sh + start-yarn.sh
- hdfs 文件目录 root01的：/usr/local/centos/hadoophdfs 文件目录 root01的：/usr/local/centos/hadoop
- 修改hdfs文件目录的权限： hdfs dfs -chmod 777 /usr/local/centos/hadoop修改hdfs文件目录的权限： hdfs dfs -chmod 777 /usr/local/centos/hadoop
- hdfs 特点：
- 支持大文件存储
- 流式数据访问
- 商用硬件【遇到故障不会明显感到中断，照样可以使用】
- 低时间延迟的数据访问【几十毫秒以内的响应不适合hdfs上运行，可使用hbase】
- 大量的小文件
- 多用户写入， 任意修改文件【不支持多用户同时写入同一个文件】
-
linux下打开eclipse , 在eclipse安装解压目录下， 用命令 ./eclipse & 打开
- hadoop
- API
Configuration //配置类 fs.defaultFS (file:///)
FileSystem //抽象类 - 核心配置文件
core-site.xml //文件系统+本地临时目录 hadoop.tmp.dir
hdfs-site.xml //relication = 3
mapred-site.xml //yarn
yarn-site.xml //rm - blocksize
128m
寻址时间 ~=10
磁盘io速度= 100M/s
寻址时间是读取时间的1% - centos
- hadoop
hadoop/share/hadoop/common|hdfs|yarn|mapred|../lib/jars
- API
- window 与linux 之间共享文件夹目录， 可以存放文件共享并保持读写
$ sudo mount -t cifs -o username=Jinc,password=ej //192.160.12.103/linux_share window_share
注： linux下共享目录在 /usr/local/window_share , window下共享目录在E:/linux_share , - 查看hadoop文件 内容
hadoop fs -text /usr/local/centos/hadoop/out_words/part-r-00000 - 复制文件到hadoop文件系统
hadoop fs -put words /usr/local/centos/hadoop/words - 运行mapreduce， 将java导出jar文件在hadoop上运行，并将结果输出到另一个地方【前路径是要加载的文件，后路径是要计算后输出的文件位置，这个位置不能存在】
hadoop jar MR.jar cn.demo.WordCount /usr/local/centos/hadoop/words /usr/local/centos/hadoop/out_words
另一种执行mapredce的方法： bin/yarn jar test_data/hdfs-project.jar /input /usr/local/hadoop/wsssss - IntWritable , Text , LongWritable
- java中int = IntWritable .get(); new IntWritable(num);
- 注： mapreduce 又几个重写方法， map, reduce， setup, cleanup , 其中， 最先执行的是setup, 然后是map,reduce ， 其次是cleanup 【这些都是内部类执行的顺序】
原文地址：https://www.cnblogs.com/eian/p/11478494.html
时间： 2024-07-29 20:57:15