hadoop常见问题收集

hadoop 搭建 常用命令记录

快捷键安装在/user/local/bin目录下

  1. nano 文件名
    ctrl + k 剪切一行
    ctrl + o 保存并重命名,不重命名直接enter
    ctrl + x 退出
    ctrl + u 粘贴
  2. 启动: start-dfs.sh + start-yarn.sh
  3. hdfs 文件目录 root01的:/usr/local/centos/hadoophdfs 文件目录 root01的:/usr/local/centos/hadoop
  4. 修改hdfs文件目录的权限: hdfs dfs -chmod 777 /usr/local/centos/hadoop修改hdfs文件目录的权限: hdfs dfs -chmod 777 /usr/local/centos/hadoop
  5. hdfs 特点:
    • 支持大文件存储
    • 流式数据访问
    • 商用硬件【遇到故障不会明显感到中断,照样可以使用】
    • 低时间延迟的数据访问【几十毫秒以内的响应不适合hdfs上运行,可使用hbase】
    • 大量的小文件
    • 多用户写入, 任意修改文件【不支持多用户同时写入同一个文件】
  6. linux下打开eclipse , 在eclipse安装解压目录下, 用命令 ./eclipse & 打开

  7. hadoop
    • API
      Configuration //配置类 fs.defaultFS (file:///)
      FileSystem //抽象类
    • 核心配置文件
      core-site.xml //文件系统+本地临时目录 hadoop.tmp.dir
      hdfs-site.xml //relication = 3
      mapred-site.xml //yarn
      yarn-site.xml //rm
    • blocksize
      128m
      寻址时间 ~=10
      磁盘io速度= 100M/s
      寻址时间是读取时间的1%
    • centos
    • hadoop
      hadoop/share/hadoop/common|hdfs|yarn|mapred|../lib/jars
  8. window 与linux 之间共享文件夹目录, 可以存放文件共享并保持读写
    $ sudo mount -t cifs -o username=Jinc,password=ej //192.160.12.103/linux_share window_share
    注: linux下共享目录在 /usr/local/window_share , window下共享目录在E:/linux_share ,
  9. 查看hadoop文件 内容
    hadoop fs -text /usr/local/centos/hadoop/out_words/part-r-00000
  10. 复制文件到hadoop文件系统
    hadoop fs -put words /usr/local/centos/hadoop/words
  11. 运行mapreduce, 将java导出jar文件在hadoop上运行,并将结果输出到另一个地方【前路径是要加载的文件,后路径是要计算后输出的文件位置,这个位置不能存在】
    hadoop jar MR.jar cn.demo.WordCount /usr/local/centos/hadoop/words /usr/local/centos/hadoop/out_words
    另一种执行mapredce的方法: bin/yarn jar test_data/hdfs-project.jar /input /usr/local/hadoop/wsssss
  12. IntWritable , Text , LongWritable
  13. java中int = IntWritable .get(); new IntWritable(num);
  14. 注: mapreduce 又几个重写方法, map, reduce, setup, cleanup , 其中, 最先执行的是setup, 然后是map,reduce , 其次是cleanup 【这些都是内部类执行的顺序】

原文地址:https://www.cnblogs.com/eian/p/11478494.html

时间: 2024-10-11 14:59:18

hadoop常见问题收集的相关文章

IE6/7常见问题 收集及解决(一)

1.IE6下,快元素有浮动,和横向的margin,横向的margin值会被放大成两倍 解决:将快元素display设置为 inline: 2.IE6,7下几px的间隙问题    在IE6,7下li本身没有浮动,但内容浮动就会多出几px间隙    解决:(1)li加上浮动        (2)给li加vertical-align加top/bottom等    //垂直对齐方式 3.IE6,7最小高度问题:    解决:(1)font-size:0    //清除IE6最小高度为19px,但是fon

IE6/7常见问题 收集及解决(二)

1.float的div闭合;清除浮动;自适应高度; ① 例如:<#div id=”floatA” ><#div id=”floatB” ><#div id=” NOTfloatC” >这里的NOTfloatC并不希望继续平移,而是希望往下排. (其中floatA.floatB的属性已经设置为 float:left;)    这段代码在IE中毫无问题,问题出在FF.原因是NOTfloatC并非float标签,必须将float标签闭合. 在 <#div class=”

Android 常见问题收集 (持续更新)

gridview中设置item的高度. 一.BaseAdapter中的getView中设置 AbsListView.LayoutParams param = new AbsListView.LayoutParams( android.view.ViewGroup.LayoutParams.MATCH_PARENT, parent.getWidth()/2+DpPx.dip2px(context,20));//-20 10spacing 5padding + 40 textview.height

Hadoop数据收集与入库系统Flume与Sqoop

Hadoop提供了一个中央化的存储系统,其有利于进行集中式的数据分析与数据共享. Hadoop对存储格式没有要求.可以存储用户访问日志.产品信息以及网页数据等数据. 常见的两种数据来源.一种是分散的数据源:机器产生的数据.用户访问日志以及用户购买日志.另一种是传统系统中的数据:传统关系型数据库(MySQL.Oracle).磁盘阵列以及磁带. Flume由三部分构成.Master负责负责通信及配置管理,是集群的控制器.Collector用于对数据进行聚合.往往会产生一个更大的数据流.然后加载到HD

hadoop常见问题总结1

本文地址:http://www.cnblogs.com/archimedes/p/hadoop-problem1.html,转载请注明源地址. 问题1:http://localhost:50030 HTTP ERROR: 404 /jobtracker.jspRequestURI=/jobtracker.jsp Powered by Jetty:// 解决办法: buid本地库存后,应该把build目录删除,否则启动脚本会把目录重定向到build目录中,导致web管理页面打不开,启动脚本中,如果

hadoop资料收集

大数据时代——为什么用hadoop hadoop应用场景 Hadoop一般用在哪些业务场景? Hadoop虽然强大,但不是万能的

hadoop常见问题汇集

1 hadoop conf.addResource http://stackoverflow.com/questions/16017538/how-does-configuration-addresource-method-work-in-hadoop How does Configuration.addResource() method work in hadoop up vote 0 down vote favorite Does Configuration.addResource() me

hadoop 常见问题

1.Eclipse 读取hdfs文件错误:  java.io.IO Exception : Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log 出现这种情况大多是结点断了,没有连接上.重启Hadoop.

js工作常见问题收集

1. viewport <meta name="viewport" content="width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no" /> // width 设置viewport宽度,为一个正整数,或字符串'device-width' // device-width 设备宽度 // height 设置viewport高度,