win7+Ubuntu双系统安装以及hadoop伪分布式安装

首先安装双系统进行伪分布式实验,安装win7+ubuntu双系统:

1、右键单击“我的电脑”进入“管理”,双击“存储”,再双击“磁盘管理”,在D盘位置右击“压缩卷”,分出一个大小为50G的磁盘空间,然后格式化,之后再删除卷,作为安装ubuntu系统所用。

2、下载安装easyBCD软件,新建一个Neo Grub启动,然后在点击设置,添加一下语句:

title install ubuntu 12.04 LTS

root(hd0,5)

kernel(hd0,5)/vmlinuz boot=casper iso-scan/filename=/ubuntu-12.04-desktop-i386.iso ro quiet splash locale=zh_CN.UTF-8

Initrd(hd0,5)/initrd.lz

注释:5是代表D盘,因为我的镜像放在D盘,1-4代表的是主分区,也即是C盘。

3、开机进入图形界面安装ubuntu即可。

接下来进入ubuntu系统,首先将当前用户变成root用户,打开终端输入如下命令,sudo gedit /etc/passwd 找到当前用户名一行,将所有1000改成0,保存退出,然后注销用户,重新登录即可。如果不想这样做的朋友也可以在使用命令前加上sudo。

4、安装java

下载并解压缩jdk-7u51-linux-i586.tar.gz到/usr目录下,并将文件夹重命名为jvm,打开终端,输入命令 vim /etc/profile编辑环境变量,在最后添加如下语句:

export JAVA_HOME=/usr/jvm

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

保存后退出,再输入source /etc/profile 使设置生效。

5、安装ssh并做免密码连接

打开终端,输入命令: apt-get install ssh。安装完毕后,设置ssh无密码登录,如图所示:

6、接着安装hadoop

下载并解压hadoop1.2.1.tar.gz到/usr,并重命名为hadoop,进入hadoop/conf目录,首先编辑hadoop-env.sh,在里面添加java安装路径。如图。

然后编辑core-site.xml,注意,其中的tmp目录需要提前创建好。其次,fs.default.name是指定NN的位置。如图。

接着是编辑hdfs-site.xml。这个是配置复制因子,因为现在是伪分布,所以只有一个DN,故为1.如图。

其次是mapred-site.xml。其中的mapred.job.tracker是指定JT的位置。

保存退出。然后是namenode的格式化,打开终端,定位到hadoop目录下,输入命令:hadoop namenode -format 回车,看见下图即说明格式化成功。如果将hadoop的bin目录加入到环境变量中则可直接运行hadoop命令。

然后我们就来到了最激动人心的时刻!运行hadoop!!运行jps命令之后,可以看到应该有的5个进程。

可以访问localhost的50070端口,这个是NN的web操作界面。

同时也可以访问localhost的50030端口。这是JT的web监控界面。

到这里,恭喜你!hadoop伪分布已完成!!

时间: 2024-10-27 06:24:31

win7+Ubuntu双系统安装以及hadoop伪分布式安装的相关文章

【转】win7+ubuntu双系统安装方法--不错

原文网址:http://blog.csdn.net/lvanneo/article/details/16885121 前段时间又安装一下win7+ubuntu双系统,过段时间就会忘记,这次自己写下来,以便以后查看. 1.      先准备一个分区来安装ubuntu.在win7中打开磁盘管理.如下图所示: 2.      假如要将F盘所在分区用来安装ubuntu,则把该分区从win7中移除.如下图所示: 3.      将ubuntu系统镜像拷贝到C盘根下.把ubuntu系统镜像文件中casper

Window 10 WSL 下hadoop 伪分布式安装

Window 10 下的WSL子系统的安装可以参考之前的文章:window10 WSL子系统上设置redis开发环境 有时候,为了在window系统上进行hadoop开发和测试,可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04,所以下面的安装以此为参考 下面是具体的配置步骤: 1:JDK的安装配置:这是必不可少的步骤 2:ssh的安装配置:Ubuntu SSH安装及配置免密码登录,安装完后可以用 ssh localhost来验证是否成功 3:hadoop伪

Hadoop伪分布式安装

本文介绍的主要是Hadoop的伪分布式的搭建以及遇到的相关问题的解决,做一下记录,jdk的安装这里就不做太多的介绍了,相信大家根据网上的安装介绍很快就能安装成功. 环境 操作系统 Oracle VM VirtualBox-rhel-6.4_64   本机名称 yanduanduan   本机IP 192.168.1.102   JDK 1.7.0_79   hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材

hadoop伪分布式安装【翻译自hadoop1.1.2官方文档】

1.hadoop支持的平台: GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点. win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境. 2.安装hdoop需要的软件: linux和windows下安装hadoop需要的软件: 2.1从sun官网下载的1.6的jdk必须被安装. 2.2ssh 必须被安装 and ssh协议必须使用hadoop脚本用来管理远程的hadoop进程. 2.

win7+ubuntu双系统安装

XP+ubuntu双系统可参考 xp硬盘上安装ubuntu12.04双系统 1.XP安全不再,终于将吾等磨机的人逼上梁山,是时候做一个win7+ubuntu的双系统了.废话少说,直接进入主题,先腾出一个硬盘空间,一般来讲肯定将你win7中的最后一个盘格掉并删除逻辑分区,我留了200G(安卓的版本编译原码大了,还引入了ccache等机制,这写都是以硬盘为代价的!) 2.下载Ubuntu镜像文件 到官方网站:http://www.ubuntu.org.cn,下载你需要的版本. 本次下载的是12.04

基于centos6.5 hadoop 伪分布式安装

步骤1:修改IP 地址和主机名: vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称"ifcfg-eth0" ,可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件,就是你的网卡文件.再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-*** 主要修改项为: BOOTPROTO=&q

【转】四步完成win7 ubuntu双系统安装(硬盘,无需光驱)

原文网址:http://ifeiyang.cn/archives/1835.html 适用环境: 理论上win7.vista系统32位或64位均可.ubuntu适用与10.X版本,且ubuntu-10.10-desktop-i386.iso 和ubuntu-10.10-desktop-amd64.iso测试通过.接下来以ubuntu-10.10-desktop-amd64.iso安装为例作为说明. 第一步:下载Ubuntu10.10 下载地址: http://www.ubuntu.com/des

ubuntu从头开始搭建hadoop伪分布式环境

13年学习过一段时间的hadoop,但是工作中用到的地方比较少,有些生疏,加上现在hadoop版本也已经比较新了,所以空闲时间想继续学习一下,找到这篇文章,从头开始搭建一个hadoop环境,转过来备忘 Hadoop developers usually test their scripts and code on a pseudo-distributed environment(also known as a single node setup), which is a virtual mach

macbook 下hadoop伪分布式安装

1 准备原材料 1.1  jdk 1.8.0_171 1.2 Hadoop 2.8.3 2 免密登陆配置(否则安装过程需要不断输入密码) 2.1 开启macbook 允许远程登录 系统偏好设置--共享--选中 远程登录(远程登录状态为绿灯时,说明OK) p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff } span.s1 { } p.p1 {