hadoop2.6.0环境搭建

官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

安装虚拟机(NAT,桥接,仅主机三种网络模式,vmwaretools,主机共享文件)
系统安装(ifconfig,环境变量,hosts,hostname,ssh无密码登陆)

jdk安装(环境变量)

hadoop(hadoop-env.sh,mapred-env.sh,  mapred-site.xml,core-site.xml,hdfs-site.xml,slaves)

./bin/hdfs namenode -format

./sbin/start-dfs.sh

./sbin/stop-dfs.sh

./sbin/stop-yarn.sh

./sbin/start-yarn.sh

./bin/hdfs dfsadmin -report

时间: 2024-12-24 06:41:37

hadoop2.6.0环境搭建的相关文章

【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键

目的: 使用Sqoop将Oracle中的数据导入到HBase中,并自动生成组合行键! 环境: Hadoop2.2.0 Hbase0.96 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz Oracle11g jdk1.7 Ubuntu14 Server 这里关于环境吐槽一句: 最新版本的Sqoop1.99.3功能太弱,只支持导入数据到HDFS,没有别的任何选项,太土了!(如有不同意见欢迎讨论给出解决方案) 命令: sqoop import --connect

win764位Ruby2.0环境搭建之Ruby on Rails

一:安装Ruby 1.在http://rubyinstaller.org 下载需要的ruby版本,因为是exe文件,所以,你可以直接安装. 安装结束后,cmd上运行 ruby -v 显示版本号.如果正常显示Ruby版本号,表示安装成功. ruby安装好之后,通过cmd 命令运行 gem -v 验证RubyGems安装是否成功. 2.下载devkit文件,然后解压安装,选择自己想要的目录.(这一步的顺序挺重要,否则第4步操作可能会出错) windows下安装或升级时gem经常会碰到 Please

hadoop2.6.0 + spark1.4.0环境搭建(一)

今天给大家共享一下我的hadoop+spark环境的搭建,需要的软件有: hadoop 2.6.0(官网下载) spark 1.4.0(官网下载,有已经编译好的版本) jdk1.7.0_79 scala-2.10.5 我的测试机环境为两台,IP分别为192.168.0.30,192.168.0.31 一.用户建立及运行环境初始化 首先,在两台机器上建立专属用户 hadoop ,并建立/opt/modules目录,将该目录赋权给hadoop用户,使之具有读写功能.将上面所列的软件上传至module

hadoop2.7.0分布式系统搭建(ubuntu14.04)

因为使用需要,在自己小本上建了四个虚拟机,打算搭建一个1+3的hadoop分布式系统. 环境:hadoop2.7.0+ubuntu14.04 (64位) 首先分别为搭建好的虚拟机的各主机重命名 方法:vi /etc/hostname 例如:ubuntu0 ubuntu1 ubuntu2 ubuntu3 一. 配置hosts文件 通过ifconfig命令查看虚拟机的IP,配置hosts文件 方法:vi /etc/hosts 192.168.186.XXX ubuntu0 192.168.186.X

【甘道夫】Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录

第一步.下载.解压.配置环境变量: 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹,我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量: export SQOOP_HOME=/home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 export PATH=$PATH:$SQOOP_HOME/bin

PhoneGap3.0 环境搭建android Demo

今日由于项目要求,使用到PhoneGap,以下是PhoneGap的android 环境搭建: 1.准备工作: (1)Nodo.js 环境,Java环境,android环境,PhoneGap环境,Ant环境,cordova环境(这个在配置PhoneGap环境会自动装)看到这么做的环境头都晕了,那么一个个解释吧. 2.Nodo.js  去官网http://nodejs.org/ 下载Node安装包,下载完毕安装完成即可. 3.装完nodo.js程序里就会出现  . 4.这下就有Node.js环境了,

【甘道夫】Win7+Eclipse+Maven进行Mahout编程,使其兼容Hadoop2.2.0环境运行

引言 之前成功在服务器上为Mahout0.9打patch,使其支持Hadoop2.2.0. 今天的需求是:在Win7+Eclipse+Maven环境下开发Mahout程序,打jar包放到集群上,使其在Hadoop2.2.0下正常运行. 过程 步骤一:Eclipse下创建Maven工程 pom.xml: 1.引入mahout依赖 <dependencies> <dependency> <groupId>org.apache.mahout</groupId> &

Hadoop2.2.0环境下Sqoop1.99.3安装

本文转载自http://blog.csdn.net/liuwenbo0920/article/details/40504045 1.安装准备工作: 已经装好的hadoop环境是hadoop 2.2.0下载的sqoop安装包(注意是hadoop200) 下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.6/sqoop-1.99.3-bin-hadoop200.tar.gz 2.解压文件到工作目录: 将sqoop解压到目标目录,我的是 

Angular 5.0 环境搭建

新项目用5.0 如何搭建环境 Angular官方给我们提供了一个命令行工具就是Angular CLI,通过这个工具我们能很容易的创建Angular项目.后期对项目的管理及构建等都是使用这么命令行工具. 1.安装nodejs 没有安装的直接去nodejs官网下载nodejs安装.安装过程很简单,官网有教程. 安装完成后,打开cmd 输入node -v 看看安装版本 2.安装cnmp 由于Angular CLi的一些资源被墙掉了,所以这里我们使用淘宝的镜像去下载安装,否则会很慢并且很容易出问题. 淘