linux服务器伪分布模式安装hadoop-1.1.2

1:环境准备

1台linux服务器, hadoop安装包(apache官方网下载) jdk1.6+

2:安装jdk ,配置好环境变量(etc/profile),java -version 测试正确进行下一步。

3:配置ssh免密码登录

cd ~

ssh-keygen -t rsa 产生密钥,位于~/.ssh目录下

cp
~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
 把id_rsa.pub公钥文件cp到 authorized_
keys

ssh localhost
登录测试

注意:这里的ssh仅仅是单机模式(伪分布)

4: 安装hadoop   tar -zxvf
 hadoop-1.1.2

5:配置hadoop几个重要的配置文件(解压完成的conf目录下)

a):hadoop-env.sh
 指定当前环境jdk安装目录

export
JAVA_HOME=/opt/java/jdk1.7

b): core-site.xml

c):hdfs-site.xml

d):mapred-site.xml

所有文件保存生效

5:格式化hdfs

bin/hadoop namenode
-format

6: 启动hadoop

bin/start-all.sh

7:jps 查看进程

8:web模式访问 50070和50030端口

http://192.168.0.111:50070

http://192.168.0.111:50030

时间: 2024-10-10 23:21:06

linux服务器伪分布模式安装hadoop-1.1.2的相关文章

伪分布模式安装hadoop

准备工具: 虚拟机:VMware Linux系统:CentOS hadoop-1.1.2.tar.gz jdk-7u75-linux-x64.gz CentOS的网络配置 1.设置主机中VMware Network Adapter VMnet1的IPv4协议如下: 2.修改虚拟机虚拟网络的VMnet1的ip 3.CentOS中网络配置: 3.重启网卡: net service restart 伪分布模式安装步骤 1.1 设置ip地址 执行命令 service network restart 验证

Hadoop学习笔记(3)hadoop伪分布模式安装

为了学习这部分的功能,我们这里的linux都是使用root用户登录的.所以每个命令的前面都有一个#符号. 伪分布模式安装步骤: 关闭防火墙 修改ip地址 修改hostname 设置ssh自动登录 安装JDK 安装hadoop 1. 关闭防火墙 具体的操作过程参见博文:我用过的Linux命令--关闭防火墙 2. 修改ip地址 具体的操作过程参见博文: 3. 修改hostname 具体的操作过程参见博文:我用过的Linux命令--修改主机名

Linux下为Eclipse安装hadoop插件

前提条件:在Linux系统中已经安装好了jdk和hadoop 本文的安装环境:1.arch Linux 2. hadoop1.0.1本地伪分布模式安装  3. Eclipse 4.5 1. 下载Eclipse 的Linux版本(http://www.eclipse.org/downloads/?osType=linux) ,选择IDE for Java EE,注意要下载Package,不要下载Installer. 2. 将下载好的压缩包解压的到软件的安装目录,此时Eclipse可以使用,后面的工

HBase的伪分布模式安装

HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理.在特定的场景下HBase有自己的用武之地. 下面讲述如何进行伪分布模式安装 1.设置环境变量 我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr/local目录下.首先解压缩.重命名.设置环境变量HBASE_HOME. tar -xzvf hbase-0.94.7-security.tar.gz mv hbase-0.94.7-secu

hbase学习系列1——伪分布模式安装

1 在hadoop上解压缩.重命名.设置环境变量HBASE_HOME,参考hadoop学习系列2 2 修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true #export HBASE_CLASSPATH=/usr/local/hadoop/conf(不知是否有效,HadoopInAction中看到的) 3 修改文件hbase-site.xml,修改

2018-08-13期 Hbase伪分布模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作. (2)伪分布模式:一台机器完成Hbase所有组件的配置,需要依赖HDFS分布式存储 (3)全分布模式:多机部署,一般情况下Hmaster和HregionServer分布在不同的服务器,需要依赖底层HDFS分布式存储. 一.安装介质 hbase-0.96.2-hadoop2-bin.tar.gz 二.安装JDK

Hadoop2伪分布模式安装

参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来.本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这些过程烦恼. 准备 安装程序获取:从官网上下载,从Apache Download Mirrors选择一个镜像位置,然后选择一个Hadoop版本,下载hadoop-2.*.*.tar.gz 安装jdk: sudo apt-get autoremov

Caffe在Linux服务器下的安装及示例程序mnist测试

Caffe安装 首先需要从网站https://github.com/BVLC/caffe下载压缩包上传到Linux服务器,解压文件.然后执行make all,不报错则表示caffe已经编译好,export设置环境变量如下: export PYTHONPATH=~/caffe/python #caffe的路径下面的python mnist示例测试 首先进入caffe-master/data/mnist目录下,运行命令: $sh get_mnist.sh 然后在caffe目录下运行examples/

Linux 服务器上Redis安装和配置

1.下载安装redis 在Linux服务器上,命令行执行以下命令(cd ./usr local/src 一般源码放在这里(推荐源码安装)) wget http://download.redis.io/releases/redis-3.0.7.tar.gz tar xzf redis-3.0.7.tar.gz cd redis-3.0.7 makemake allmake install 说明: wget:下载远程文件到本地当前文件夹中. tar xzf :解压文件到当前文件夹目录 cd:进入文件