最近在学Hadoop，的确是个好东西，内部原理的确很难理解，不过用起来还是比较方便的
因为刚接触，一些指令还是写记下
hadoop fs -rmr 每次运行前都要删除输出目录
hadoop jar target/Test-1.0-SNAPSHOT.jar javaPath运行hadoop程序
hadoop fs -text OutputPath/part-r-00000 查看输出结果，看你设置了几个reduce从00000开始计数
时间： 2024-12-15 03:12:47
Hadoop使用心得
Hadoop使用心得的相关文章
Hadoop安装心得
1.安装各种软件需要配置path变量和等等home变量,这究竟是干什么的?第一,配置path变量,主要目的,就是为了使用这些软件里面的命令,如start-all.sh,在任何目录下,任何路径下等等.2.各种软件都有env-sh等等结尾的脚本文件,在这里通常也需要配置各种如java--home等等之类的变量,这个是为什么?这个主要是因为这些软件启动都需要这些环境支持,比如Hadoop开发,如果没有jdk,能跑起来吗?3.运行各种软件会报很多错误,如果是遇到权限问题,就应该去修改相应的权限,如ssh
最近装Hadoop的心得（内附Hadoop2.9.2详细安装教程）
以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的,所以遇到的问题不多,自己没怎么思考,导致跟着官网再装了一个Hadoop-2.9.2(为了装Hbase2.2.0)时装了两天,现在把遇到过的问题记下来以免以后再犯. 首先,安装软件首先看官网教程.但官网的教程是很简单的,比如Hadoop的安装.默认会创建hadoop用户:给hadoop权限:所有都在hadoop用户下操作(不然会出错):会更新apt:会解压:会配JAVA_HOME,会配置SSH免密登陆.但我是个小白啊,都不懂,因此查了很
大数据技术人年度盛事! BDTC 2016将于12月8-10日在京举行
2016年12月8日-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所和CSDN共同协办的2016中国大数据技术大会(Big Data Technology Conference 2015,BDTC 2016)将在北京新云南皇冠假日酒店隆重举办. 图片描述 中国大数据技术大会(BDTC)的前身是Hadoop中国云计算大会(Hadoop in China,HiC).从2008年仅60余人参加的技术沙龙到当下数千人的技术盛宴,目前已成为国内最具影响力.规模
源码编译Hadoop-2.2版本
刚接触hadoop的时候,都会遇到一个头大的问题,如下: WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform- using builtin-java classes where applicable 出现这个警告信息当时并没有太在意,因为在编译php.mysql等都会出现一些警告信息,但是那些警告信息并不是致命的,主要是因为hadoop官网仅提供3
Hadoop集群配置心得（低配置集群+自动同步配置）
本文为本人原创,首发到炼数成金 http://f.dataguru.cn/thread-138720-1-1.html. 情况是这样的,我没有一个非常强劲的电脑来搞出一个性能非常NB的服务器集群,相信很多人也跟我差不多,所以现在把我的低配置集群经验拿出来写一下好了. 我的配备:1)五六年前的赛扬单核处理器2G内存笔记本 2)公司给配的ThinkpadT420,i5双核处理器4G内存(可用内存只有3.4G,是因为装的是32位系统的缘故吧...) 就算是用公司配置的电脑,做出来三台1G内存的虚拟机也
Hadoop - Zeppelin 使用心得
1.概述 在编写 Flink,Spark,Hive 等相关作业时,要是能快速的将我们所编写的作业能可视化在我们面前,是件让人兴奋的时,如果能带上趋势功能就更好了.今天,给大家介绍这么一款工具.它就能满足上述要求,在使用了一段时间,这里给大家分享以下使用心得. 2.How to do 首先,我们来了解一下这款工具的背景及用途.Zeppelin 目前已托管于 Apache 基金会,但并未列为顶级项目,可以在其公布的 官网访问.它提供了一个非常友好的 WebUI 界面,操作相关指令.它可以用于做数据分
docker一键部署hadoop心得（二）
今天在运行MapReduce程序时,虽然wordcount实例运行成功了,但后面出现了重新使用历史服务器失败的错误 17/12/22 13:33:19 INFO ipc.Client: Retrying connect to server: hadoop-slave1/172.18.0.11:45463. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleep
spark sql 优化心得
本篇文章主要记录最近在使用spark sql 时遇到的问题已经使用心得. 1 spark 2.0.1 中,启动thriftserver 或者是spark-sql时,如果希望spark-sql run on hdfs,那样需要增加参数 "--conf spark.sql.warehouse.dir=hdfs://HOSTNAME:9000/user/hive/warehouse" 例如启动thriftserver: bin/start-thriftserver.sh --master s
第一篇大数据学习心得
之前未习惯发布学习心德博文,后续会采用这种方式发布学习心得,希望能够很好的督促自己. 计划会按scala,Hadoop,Spark的顺序去学习. 刚学scala的时候,眼前一亮,这语法跟python,java很像啊,刚好两者很熟悉,偷笑,后面果然学的得心应手.今天就不发表具体的技术内容.反正王学林老师的视屏讲解很好,声音非常富有感染力,想开小差都比较难,呵呵,话语精炼,个人较喜欢的风格,这里说下这段时间学习scala的小心得?,视频学完一章紧接着进行敲代码,调试,最后记笔记,对,记笔记,不一定是