Hadoop环境搭建1_JDK+SSH

1 前言:

Hadoop 最早是为了在Linux 平台上使用而开发的,但是Hadoop 在UNIX、Windows 和
Mac OS X 系统上也运行良好。不过,在Windows 上运行Hadoop 稍显复杂,首先必须安装
Cygwin 以模拟Linux 环境,然后才能安装Hadoop。

windows下:可以有1:虚拟机Vmware+linux系统,或者另外:hadoop4win的一个集成化的自动安装程序(貌似我还是没有安装成功)

由于我用的是环境是:Ubuntu。

2 jdk安装:

  当然,在linux下程序的安装貌似很简单,把下载好的对应程序解压的自己想要的目录中即可:

  1 ubuntu由于有个软件中心,可以在终端自动帮你下载:sudo apt-get install sun-java6-jdk

    如果你不知道怎么版本,你可以在终端命令下输入:java,或javac,一般提示会有提示,按照提示自动安装即可

   这样安装的目录一般是自动指定的,如:/usr/lib/jvm/、、、、java-6-openjdk-amd64

    找到自己的安装目录: dpkg -l openjdk-6-jdk

2  自己先下载:

    链接:下载传送---------------------。然后自己解压到自己的目录。

3 跟我们在windows下安装一样,也需要配置环境变量: 

   我的java目录:/usr/lib/jvm/java-6-openjdk-amd64

    在终端:
      sudo gedit /etc/profile    (这个为用户环境变量配置文件)
      export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
      export PATH=$JAVA_HOME/bin:$PATH
      export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  (3)验证Java是否安装成功
      输入 java -version ,javac,java 有相关信息输出即可表示成功

如果对环境变量,linux下的简单操作不熟悉,请先吃个饭,环境变量   ,文件操作  。

1 这里先解释一下sudo 与apt 这两个命令,sudo 这个命令允许普通用户执行某些或全部需要root 权限命令,它提供了详尽的日志,可以记录下每个用户使用这个命令做了些什么操作;同时sudo 也提供了灵活的管理方式,可以限制用户使用命令。sudo 的配置文件为/etc/
sudoers。

2 apt 的全称为the Advanced Packaging Tool,是Debian 计划的一部分,是Ubuntu 的软件包管理软件,通过apt 安装软件无须考虑软件的依赖关系,可以直接安装所需要的软件,apt会自动下载有依赖关系的包,并按顺序安装,在Ubuntu 中安装有apt 的一个图形化界面程序
synaptic(中文译名为“新立得”),大家如果有兴趣也可以使用这个程序来安装所需要的软件。

3 安装配置SSH

  (1)下载安装SSH:同样在命令行输入下面命令安装SSH
   sudo apt-get install ssh
  (2)配置无密码登录本机:在命令行输入下面两条命令
   $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。

  再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  启动后,可以通过如下命令查看服务是否正确启动:

  ps -e | grep ssh

  (3)验证SSH是否安装成功
   输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

ssh localhost
会有如下显示:
The authenticity of host ‘localhost (::1)‘ can‘t be established.
RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘localhost‘ (RSA) to the list of known hosts.
Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686
To access official Ubuntu documentation, please visit:
http://help.ubuntu.com/
Last login: Mon Oct 18 17:12:40 2010 from master
[email protected]:~$
这说明已经安装成功,第一次登录时会询问你是否继续链接,输入yes 即可进入。
实际上,在Hadoop 的安装过程中,是否无密码登录是无关紧要的,但是如果不配置无
密码登录,每次启动Hadoop,都需要输入密码以登录到每台机器的DataNode 上,考虑到一
般的Hadoop 集群动辄数百台或上千台机器,因此一般来说都会配置SSH 的无密码登录。

4、关闭防火墙
$sudo ufw disable
注意:这步非常重要,如果不关闭,会出现找不到datanode的问题

时间: 2024-11-18 16:25:38

Hadoop环境搭建1_JDK+SSH的相关文章

完全分布式模式的Hadoop环境搭建

一.本文说明:本次测试在五台虚拟机系统上进行完全分布式搭建.Hadoop分布式模式是在多台机器上分布式部署,配置非常类似于伪分布式,名称节点和数据节点都分布在不同的主机上,每台数据节点上都有相应的任务调度. 二.环境说明:       虚拟软件:VM10.0       操作系统:Cent Os 6.7       hadoop版本:hadoop-2.7.2       JDK版本:jdk1.8_77备注:基于独立模式基础上搭建,参考文章:独立模式的Hadoop环境搭建. 三.基本环境配置   

Nutch+hadoop环境搭建

以前搭建环境或是配置软件从来都没有留Tips的习惯,但实践证明这是错误的--做过不等于记得怎么做,遇到过的错误也不等于今后就不是错误了.Nutch跟Hadoop的搭建困扰了我很久,但回头看看又觉得真正有些问题的其实就几个关键点,所以觉得花些时间写个简单流程,缅怀一下最近的探索,也希望能给想要搭建Nutch或hadoop的同学提供一些帮助.欢迎大家指正. 想要说明一下的是,虽然说hadoop诞生于nutch,但现在hadoop已经完全独立为一个分布式框架,我们可以简 单地理解为nutch只是跑在h

Hadoop HA + HBase环境搭建(一)————zookeeper和hadoop环境搭建

版本信息: Hadoop 2.6.3 HBase 1.0.3 JDK 1.8 Zookeeper 3.4.9 集群信息: RDFMaster 192.168.0.41 (Hadoop主节点,zk节点,HBase主节点) RDFSlave01 192.168.0.42 (Hadoop备份主节点,从节点,zk节点,HBase的RegionServer) RDFSlave02 192.168.0.43 (从节点,zk节点,HBase的RegionServer) RDFSlave03 192.168.0

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我们这里就讨论完全分布式,关于搭建工具,有hadoop+CentOs+VMware,感觉各个版本还是有一点差异的. 随后可能会整理出一个常用版本,今天先说说VM的静态IP的设置吧: 关于VM,大家可能不陌生,目前也是windows系统搭建模拟hadoop环境的必要软件之一. 但是,由于有些人会经常改变

hadoop初步环境搭建,ssh无密码通信

一.初步环境搭建 1在Windows 7上安装VMware虚拟机(VMware-workstation-full-9.0.2),VMware Workstation下载地址: https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526 注意:不要安装到C盘,找一个磁盘剩余空间较大的盘安装. 2在VMvare中装三台Ubuntu机器(我们使用的是ubuntu-14

linux xshell jdk hadoop(环境搭建) 虚拟机 安装(大数据搭建环境)

[hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10] 1.创建虚拟机 第一步:在VMware中创建一台新的虚拟机.如图2.2所示. 图2.2 第二步:选择"自定义安装",然后单击"下一步"按钮,如图2.3所示.  图2.3 第三步:单击"下一步" 按钮,如图2.4所示.  图2.4 第四步:选择"稍后安装操作系统&qu

单机伪分布式Hadoop环境搭建

1.安装和配置JDK 具体操作见笔记 http://www.cnblogs.com/DreamDriver/p/6597178.html 2.创建Hadoop用户 为Hadoop创建一个专门的用户,可以在系统安装的时候就创建,也可以在系统安装好之后用如下命令创建: # groupadd hadoop-user # useradd -g hadoop-user hadoop # passwd hadoop 3.下载安装Hadoop 4.配置SSH (1)生成密钥对时,执行如下命名 # ssh-ke

分享一些Hadoop环境搭建所用到的软件

本来想用土的掉渣的语言说说hadoop配置的,因为最近总有人问我,环境搭建老出莫名其妙的问题,可是写到一半,还是决定不写了,网上教程好多好多,而大家遇到问题有很多是软件版本不对应造成的,因此我就把大家需要用到的软件给共享一下算了,不用到处去找了.不谢,请叫我活雷锋. 1.虚拟机VMWare10,用这个版本吧,我用过其他几个版本,有的时候会出错. 下载地址:http://yunpan.cn/csmATAd8zQz5W  提取码 cf10 2.CentOS6.5系统 下载地址:http://yunp