Hadoop详细配置教程

windows下采用PuTTY或者Xshell连接远程主机

mac用终端连接远程linux主机:ssh [email protected]

user 为 linux 服务器的管理员名称

hostname 为 linux 服务器的IP 

注意:

pwd 可显示当前目录所在位置。

使用who命令可以查看当前登录用户,使用w命令可以看到所有登录用户信息。

查看主机名hostname命令:hostname 或者 uname -n

查看系统版本、内核等详细信息:uname -a

linux如何查看主机的cpu个数和总内存:cat /proc/cpuinfo 和 cat /proc/meminfo

安装jdk
# ls
# javac //检测java环境(得出提示,按提示安装)
# sudo apt-get install openjdk-7-jdk
# javac //检测java环境
# vim /etc/profile
键盘输入a,进入编辑模式,编辑文件,设置JAVA环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
点ESC键退出编辑模式
输入:wq保存退出
# source /etc/profile   (使之生效)
# javac //检测java环境

安装hadoop
下载hadoop:
# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
# ls
# mv hadoop-1.2.1.tar.gz /opt/  (把hadoop安装包放到opt目录下,注:mkdir为创建文件夹命令)
# cd /opt/
# ls
# tar -zxvf hadoop-1.2.1.tar.gz   (解压缩)
# ls
# cd hadoop-1.2.1/
# ls
(主要配置的文件夹为conf)
# cd conf/
# ls
主要配置4个文件:mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh
# vim hadoop-env.sh
编辑有export=JAVA_HOME那一行:去掉前面#号,export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
如果忘了java环境变量地址,先退出,然后通过 # echo $JAVA_HOME 查看变量地址,然后复制下来去粘贴。最后:wq保存

# vim core-site.xml(注:imooc是自己本机的hostname即主机名,9000是端口号)
配置内容:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://imooc:9000</value>
</property>

</configuration>

:wq保存退出

# vim hdfs-site.xml
配置内容:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

</configuration>

:wq保存退出

# vim mapred-site.xml
配置内容:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>

</configuration>

:wq保存退出

# vim /etc/profile (hadoop环境变量配置)
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
:wq保存退出

# source /etc/profile (设置生效)
# hadoop (检测hadoop)
# cd ..
# cd bin/ (即/opt/hadoop-1.2.1/bin目录)
# ls
# hadoop namenode -format (对namenode进行格式化操作)

启动hadoop:
# cd /opt/hadoop-1.2.1/bin/
# ls
# start-all.sh
# jps (使用jps查看hadoop是否运行正常,运行了哪些进程)

# hadoop fs -ls /(看看hadoop下面有哪些文件)

时间: 2024-08-04 08:14:29

Hadoop详细配置教程的相关文章

nginx详细配置教程

一.安装nginx 安装nginx之前首先需要安装"Development Tools"和 "Development Libraries"两个基本组包.yum groupinstall "Development Tools" "Development Libraries".另外还需要安装pcre-devel包. 安装pcre-devel: yum install pcre-devel 安装nginx: 添加nginx账号gro

关于腾讯云服务器使用FTP详细配置教程

1.腾讯云服务器介绍 2.关于腾讯云服务器使用感受 3.作为开发者使用过程中遇到的问题 4.腾讯云服务器FTP Server环境搭建 5.腾讯云常见FTP客户端安装方法及注意事项 首先非常感谢CSDN联合腾讯云提供的免费云资源,我是一个开发者,目前从事软件外包.教育培训相关工作.在技术方面还可以,但是在服务器管理方面还欠缺很多知识,所以遇到了一些问题,顺便花点时间研究下,把自己的心得分享给大家,供大家学习交流. 1.腾讯云服务器介绍 腾讯云(http://www.qcloud.com)-腾讯公司

ACS+802.1x+AAA+AD+CA详细配置教程(一)

ACS+802.1x+AAA+AD+CA详细配置教程(一)   第一部分:DC的安装与配置过程: 1.安装DC,在运行下输入dcpromo,会弹出AD的安装向导:... 3 2.安装完DC后,运行à管理工具àActiveDirectory用户和计算机,将会出现以下界面... 5 3.将另外一台服务器即ACS&CA加入到NAC这个域当中(必要条件),此时需要输入域管理员帐户aaa  8 第二部分:ACS的安装与配置过程:... 9 1.安装部分:... 9 2.配置部分... 12 3.    

ACS+802.1x+AAA+AD+CA详细配置教程(二)

ACS+802.1x+AAA+AD+CA详细配置教程(二) ACS的安装与配置过程: 感谢ZhaNKO提供的ACS安装过程,省了我很多功夫,呵呵!ACS4.1的安装过程与ACS3.3的过程完全相同. 1.安装部分: 点击完成安装 2.配置部分 安装完后会自动运行ACS,在桌面会也会自动生成一个ACS Admin的图标,在下面的描述过程中,着重于后面与AD集成的配置,对于ACS的使用介绍在这里就不多说了,如果需要,可参考ZhaNKO那份详细的ACS使用手册哈哈,写得非常好! 安装完后,点击Netw

ACS+802.1x+AAA+AD+CA详细配置教程(五)

第四部分:Switch的配置: enable secret 5$1$yUpo$/O8vCSe57oTveItVZEQqW0 ! username cisco password 0 cisco                 \\创建本地用户名数据库 aaa new-model                                          \\启用AAA aaa authentication login default group radius local      \\登陆时

vsftpd超详细配置教程

环境:CentOS 5.0 操作系统一.安装:1.安装Vsftpd服务相关部件:[[email protected] ~]# yum install vsftpd*Dependencies Resolved=============================================================================Package                 Arch       Version          Repository       

ACS+802.1x+AAA+AD+CA详细配置教程(三)

3.      与AD集成(本文重点介绍,在这里花了我一天的时间才研究出来,呵呵!) 进入ExternalUser Databases页面,在这页面下有3个选项: a)      Unknown User Policy b)     Database Group Mappings c)      Database Configuration 第1步:Unknown User Policy 这里的作用是当ACS检测到非本地用户的时候,可以去找外部的数据库,所以这也是为什么ACS要加入域的原因,把W

vACS+802.1x+AAA+AD+CA详细配置教程(四)

第三部分:CA的安装与配置过程: 1.CA的安装 在添加/删除windows组件中选中证书服务,然后下一步开始安装.安装的过程这里就不详细说了,全部选用缺省的配置,有提示筐出来就选择是就可以了. 安装完成后,在管理工具中打开证书颁发机构. 2.ACS申请证书 这里也是很重要的一个环节,因为后面802.1x客户端需要使用PEAP来实现做验证类型.开始我做的时候是使用MD5-质询的,搞了半天不成功.后来才发现文档上说在ACS的验证中如果使用MD5 就不能实现与AD集成,晕倒!!使用PEAP认证的话,

mysql 主从同步详细配置教程

8.10 Mysql 主从同步 8.10.1 主从原理mysql主从同步的原理:1.在master上开启bin-log日志,用于记录master上的更改删的一些记录.2.主从各开启io线程,从上开启io线程和sql线程.同时都配置好主从上的serveid唯一性3.主上配置好授权用户,从上设置change master授权连接的命令3. 从上io线程通过授权连接master,master通过io线程检查到slav的请求的日志.postsion点位置.4.master将这些相应的请求内容发送给sla