Hadoop安装心得

1.安装各种软件需要配置path变量和等等home变量,这究竟是干什么的?
第一,配置path变量,主要目的,就是为了使用这些软件里面的命令,如start-all.sh,在任何目录下,任何路径下等等。
2.各种软件都有env-sh等等结尾的脚本文件,在这里通常也需要配置各种如java——home等等之类的变量,这个是为什么?
这个主要是因为这些软件启动都需要这些环境支持,比如Hadoop开发,如果没有jdk,能跑起来吗?
3.运行各种软件会报很多错误,如果是遇到权限问题,就应该去修改相应的权限,如ssh安装的时候,就总是还要输入密码,可能提是权限不够,或者权限太大,这时候你就应该修改权限,将权限改成700(毕竟是私密的)
4.遇到各种错误,如何去解决?
遇到错误,第一感觉就是去找各种日志文件,因为日志文件里面包含了,为什么报错的原因,不要想无头苍蝇一样。这个起码能够解决80%的问题
5.遇到有些问题解决不了,实在不行,就去找别人帮助,这个是没办法中的办法,解决错误都是学习计算机必须要经历的,在这其中可以学到很多的知识。如果动不动有什么问题去请教别人,那下次出错了,还是解决不了,只要自己已经努力了,然后在向别人请求,然后自己才能够做到原来如此的境界。

时间: 2024-11-06 18:10:41

Hadoop安装心得的相关文章

最近装Hadoop的心得(内附Hadoop2.9.2详细安装教程)

以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的,所以遇到的问题不多,自己没怎么思考,导致跟着官网再装了一个Hadoop-2.9.2(为了装Hbase2.2.0)时装了两天,现在把遇到过的问题记下来以免以后再犯. 首先,安装软件首先看官网教程.但官网的教程是很简单的,比如Hadoop的安装.默认会创建hadoop用户:给hadoop权限:所有都在hadoop用户下操作(不然会出错):会更新apt:会解压:会配JAVA_HOME,会配置SSH免密登陆.但我是个小白啊,都不懂,因此查了很

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop使用心得

最近在学Hadoop,的确是个好东西,内部原理的确很难理解,不过用起来还是比较方便的 因为刚接触,一些指令还是写记下 hadoop fs -rmr 每次运行前都要删除输出目录 hadoop jar target/Test-1.0-SNAPSHOT.jar  javaPath运行hadoop程序 hadoop fs -text OutputPath/part-r-00000 查看输出结果,看你设置了几个reduce从00000开始计数 Hadoop使用心得,布布扣,bubuko.com

分布式Hadoop安装

本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by [email protected] 环境介绍: 主机名 机器IP 用途 描述 Hadoop0 192.168.80.101 Namenode secondaryNamenode jobTracker CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 Hadoop1 192.168.80.102 Datanode taskTracker CentOS6.4 jdk-6u24-

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,

hadoop安装和hadoop pipes编程说明

本篇文章主要是对hadoop pipes编程的一些问题的备注,对于网上常见的问题,并未完全写入. 安装 基础环境:3台基于centos7的虚拟机(1个master,2个slave:slave1.slave2).hadoop-2.6.0 1. hadoop安装主要参考的网址是:hadoop参考安装 2. linux配置ssh免密码登录,具体参考的是:centos ssh免密码登录 tips: 1. 三个虚拟机的一定要用一样的帐号,即用户名.如果不一样的话,通过ssh进行免密码登录时会出现问题.比如

Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器)

声明 本文基于Centos 6.x + CDH 5.x 官方英文安装教程 http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_cdh5_install.html 本文并不是简单翻译,而是再整理 如果没有yum源请参考http://blog.csdn.net/nsrainbow/article/details/36629339#t2 准备工作 用vm

Hadoop安装(Ubuntu Kylin 14.04)

安装环境:ubuntu kylin 14.04   haoop-1.2.1   hadoop下载地址:http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/ 1.安装JDK,这里要注意的是:要想在hadoop中使用,则需要在hadoop下输入命令:source  /etc/profile 来实现,然后用java -version 测试看看是否生效了. 2.创建hadoop用户和用户组(切换到root) 创建hadoop用户组   sudo ad