Hadoop在Windows下的安装配置

因为本人最近最近一段时间 都在学习Hadoop,接触了比较多的理论,但是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先。但是比较坑爹的是,Hadoop是要求安装在Linux环境下的,在Windows下是不能直接运行的。所以只能在Windows下搞个Cygwin,然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好,以前用过这个模拟过Linux环境,后来发现总是会出现各种环境上的问题,非常耗时间。所以我猜测,现在我又在上面搭建一个Hadoop平台,也肯定不是一件简单的事件。后来的事实证明,我的确遭遇到了非常多的问题。

        首先第一个遇到的问题,就是配置文件上的区别。之前我在网上下载的Hadoop安装版本文件时Hadoop2.0然后,我的安装教程将的是1.0的,里面的配置文件相应的配置文件都没找到。比如,在Hadoop2.0中是没有mapred-site.xml,取而代之的是mapred-site.xml.template文件,所在的目录页不是叫做conf目录,所以,第一点,搭建Hadoop平台,要对准相应的平台进行安装。

      2.在配置core-site,hdfs-site,mapreduce-site文件之前,要先安装SSH 服务,因为Hadoop的通信会要求进行SSH认证的,还会生出密钥文件,有了密钥文件,就可以实现以后的免密码登录,这个步骤是必须的,如果不执行这个前期操作,执行的后面的命令会报错的。

      3.Cygwin下的JDK安装和路径配置,因为Hadoop平台是要求Java环境的,需要在Cygwin环境下也安装JDK,但是我们的JDK是安装在Windows磁盘下的啊,这该怎么处理呢,第一之间把地址定位到你安装的地址上去,通过cgwdrive+你的实际安装位置,或者你直接找到原先的安装目录,直接拷贝到Cygwin的目录下,再进行path的设置。JDK的设置非常重要,后续的命令很多都是基于此的。

     4.最后一个就是3大配置文件的配置操作了,如果你不打算配置,那就是默认的单机模式了,配置的操作就是相当于有了DataNode, NameNode, HDFS等等,但是都是在本机上进行的,一个伪分布式模式,这个很简单,就是定义了端口号,和一些描述信息。

     5.最后在运行整个服务之前,要先对HDFS进行格式化操作,hadoop hdfs-format,在最后面的就是start-all.sh,在不同版本的Hadoop中,start-all.sh在不同的目录中,1.2版的是在bin目录下,2.0版的是在sbin下,cd到哪个目录下执行操作需要注意。

上述操作就是我在搭建平台的过程中所遇到的问题,上述是我自认为是比较容易犯的错误,里面其他的问题网上搜的都是一堆的教程,大同小异。

时间: 2024-11-08 00:39:13

Hadoop在Windows下的安装配置的相关文章

ToughRADIUS在windows下的安装配置

ToughRADIUS在windows下的安装配置 ToughRADIUS为windows提供了一个快速部署的模式,帮助使用者快速部署ToughRADIUS服务. 最新版本下载 从以下链接可以下载最新的ToughRADIUS版本: github.com mirror https://github.com/talkincode/ToughRADIUS/archive/master.zip coding.net mirror https://coding.net/u/jamiesun/p/Tough

Apache在windows下的安装配置

Apache在windows下的安装配置 转载自:http://blog.sina.com.cn/s/blog_536f16b00100cfat.html     1 Apache的下载 Apache是开源的Web服务器,可在http://httpd.apache.org/download.cgi或http://www.apache.com/en_apache/index.php上下载最新版本. 由于Apache将安装在windows系统下,所以下载“Win32 Binary(MSI Insta

Windows下PHP安装配置

软件版本:php-5.3.1-Win32-VC6-x86.zip 这个不需要额外的安装.net的库,所以就用这个了.可以使用其他的. 1.PHP安装 使用绿色方式,下载Zip文件解压. 2.配置 在解压的根目录下找到php.ini-development,是用于开发环境的配置文件:还有一个php.ini-production,这个是用于生产环境的配置文件.使用php.in-development,复制一份,重命名为php.ini.开始编辑. 定位registe_globals =Off; 建议不

< python音频库:Windows下pydub安装配置、过程出现的问题及常用API >

< python音频库:Windows下pydub安装配置.过程出现的问题及常用API > 背景 刚从B站上看过倒放挑战之后也想体验下,心血来潮一个晚上完成了基本的实现.其中倒放与播放部分使用了pydub这个音频库,十分快捷方便,但是它完整一套的配置让我还是踩了几个坑.特将其配置过程记录于此,方便大家. Windows10系统 < Pydub in Github > 安装Pydub Anaconda:打开Anaconda prompt,activate切换至工作环境下,键入pip

【原创】Superset在windows下的安装配置

Superset是由Airbnb(知名在线房屋短租公司)开源BI数据分析与可视化平台(曾用名Caravel.Panoramix),该工具主要特点是可自助分析.自定义仪表盘.分析结果可视化(导出).用户/角色权限控制,还集成了一个SQL编辑器,可以进行SQL编辑查询等,原来是用于支持Druid的可视化分析,后面发展为支持很多种关系数据库及大数据计算框架,如:mysql, oracle, Postgres,Presto,sqlite, Redshift,Impala, SparkSQL, Green

windows下git安装配置

1.安装 TortoisesGit是Windows下比较好用的git gui软件,安装前需要先下载安装git.安装过程与普通应该程序相似. 2.ssh访问 ssh提供了可靠数据访问.例如,github中设置ssh秘钥,可以省去每次上传下载输入用户名和密码的麻烦. TortoisesGit支持SSH访问,方法如下: (1)使用openssh设置公钥和私钥. 安装git后,打开git bash. $ cd ~/.ssh $ git config --global user.name "xxx&quo

nodejs在windows下的安装配置(使用NVM的方式)

NVM的安装 1.下载安装包,https://github.com/coreybutler/nvm-windows/releases 2.下载完成后点击nvm-setup,按步骤安装,注意路径中不能带空格和中文路径,这里我的安装位置是D:\dev\nvm 3.安装完成后,配置环境变量.软件最新版本安装完成后会自动在环境变量的用户变量中生成变量名和变量值 4.nvm常用命令 nvm-v //检查nvm的版本号 nvm install latest //安装最新版本的nodejs nvm ls //

hadoop在CentOS下的安装配置

版本:CentOS-6.8-x86_64-minimal,hadoop2.6.4,jdk1.7.0 首先把jdk.hadoop压缩包下载发送到CentOS下并解压 下载发送不多赘述,解压命令tar -zxvf 压缩包 mv 原文件名 新文件名 (注意空格) 先配置jdk 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25 配置环境变量 vi ~/.bash_profile JAVA_HOME=/apps/jdk1.7.0_25PATH=$PATH:$HOME/bin:

windows下django安装配置

1.安装python,尽可能使用2.X版本,3.X版本兼容性不是很好,下载地址https://www.python.org/downloads/,并将安装目录添加到 环境 path里面,如c://python 2.安装MySQL-python-1.2.5.win-XXX.exe,版本是根据python和操作系统定的,尽可能一致 下载地址http://www.codegood.com/downloads(版本比较老), 3.安装setuptools-0.6c11,版本号可以选新的,下载地址http