作为初学者,总结一下配置hadoop2.6的心得体会。
首次配置时采用虚拟机中运行Ubuntu14.04,直接配置hadoop2.6,并在其中运行Eclipse。于自己的机子性能较为一般(4核+4G),尝试几个案例时就出现卡的现象。后来尝试CYGWIN代替Ubuntu,但各种配置问题不断产生,不得不放弃。改为在win7(64bit)下采用Eclipse连接ubuntu中hadoop2.6,为了提升性能,ubuntu改为命令行模式下启动,去掉图形化界面。
Ubuntu下配置hadoop2.6并没遇到太多问题,参照一下博文: http://blog.csdn.net/ggz631047367/article/details/42426391
Win7下将hadoop2.6插件配置到Eclipse,参照博文设置虚拟机中Ubuntu与Eclipse配置:http://www.xuebuyuan.com/1415322.html
文中提及虚拟机网络连接采用桥接模式,本人在实现中采用NAT也是可行的,并未遇到IP变动的问题。插件配置中要涉及到hadoop.tmp.dir的配置是与网上其他攻略不同的地方,在实践中曾因忽略此处,eclipse无法连接上HDFS。
连接上HDFS文件系统后,建立工程,复制WordCount代码,如果采用的是官网上的Hadoop2.6,因为缺少hadoop.dll与winutils.exe会有异常出现,2.6版本到
http://download.csdn.net/detail/u014310430/8402965#comment下载 亲测可用。放到WIN7下hadoop文件的BIN,中,同时配置环境变量HADOOP_HOME和在Path变量中加入%HADOOP_HOME%\bin,重启电脑。
Ubuntu去图形界面
sudo vim /etc/default/gru
找到:GRUB_CMDLINE_LINUX_DEFAULT="quiet splash",应该是在第11行。复制本行然后把quiet splash替换成text。保存后执行命令更新
sudo update-grub
重启后就直接进入文字界面。
sudo reboot