win764bit下Eclipse连接ubuntu中hadoop2.6经验总结

作为初学者,总结一下配置hadoop2.6的心得体会。

首次配置时采用虚拟机中运行Ubuntu14.04,直接配置hadoop2.6,并在其中运行Eclipse。于自己的机子性能较为一般(4核+4G),尝试几个案例时就出现卡的现象。后来尝试CYGWIN代替Ubuntu,但各种配置问题不断产生,不得不放弃。改为在win7(64bit)下采用Eclipse连接ubuntu中hadoop2.6,为了提升性能,ubuntu改为命令行模式下启动,去掉图形化界面。

Ubuntu下配置hadoop2.6并没遇到太多问题,参照一下博文:                           http://blog.csdn.net/ggz631047367/article/details/42426391

Win7下将hadoop2.6插件配置到Eclipse,参照博文设置虚拟机中Ubuntu与Eclipse配置:http://www.xuebuyuan.com/1415322.html

文中提及虚拟机网络连接采用桥接模式,本人在实现中采用NAT也是可行的,并未遇到IP变动的问题。插件配置中要涉及到hadoop.tmp.dir的配置是与网上其他攻略不同的地方,在实践中曾因忽略此处,eclipse无法连接上HDFS。

连接上HDFS文件系统后,建立工程,复制WordCount代码,如果采用的是官网上的Hadoop2.6,因为缺少hadoop.dll与winutils.exe会有异常出现,2.6版本到

http://download.csdn.net/detail/u014310430/8402965#comment下载  亲测可用。放到WIN7下hadoop文件的BIN,中,同时配置环境变量HADOOP_HOME和在Path变量中加入%HADOOP_HOME%\bin,重启电脑。

Ubuntu去图形界面

    sudo vim /etc/default/gru

找到:GRUB_CMDLINE_LINUX_DEFAULT="quiet splash",应该是在第11行。复制本行然后把quiet splash替换成text。保存后执行命令更新

    sudo update-grub 

重启后就直接进入文字界面。

    sudo reboot
时间: 2024-11-02 05:41:27

win764bit下Eclipse连接ubuntu中hadoop2.6经验总结的相关文章

Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4<3>

经过前几天的学习,基本上能够小试牛刀编写一些小程序玩一玩了,在此之前做几项准备工作 明白我要用hadoop干什么 大体学习一下mapreduce ubuntu重新启动后,再启动hadoop会报连接异常的问题 答: 数据提炼.探索数据.挖掘数据 map=切碎,reduce=合并 重新启动后会清空tmp目录,默认namenode会存在这里,须要在core-site.xml文件里添加(别忘了创建目录,没权限的话,须要用root创建并把权限改成777):<property> <name>h

【甘道夫】Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

Windows下Eclipse连接hadoop

? hadoop在虚拟机上(远程连接也是一样只需要知道master的ip和core-site.xml配置即可. Vmware上搭建了hadoop分布式平台: ? 192.168.11.134 master 192.168.11.135 slave1 192.168.11.136 slave2 ? core-site.xml 配置文件: <property> ????????<name>fs.defaultFS</name> ????????<value>hd

通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试

VMware虚拟机配置Ubuntu桥接方式(Bridged)使虚拟机和宿主机能互相ping通, 1.设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2.查看Bridged状态 Vmware菜单栏Edit->Virtual Network Editor 要设置成以上bridged模式,先关闭虚拟机,不关闭设置会提示只有虚拟机在power off状态才能设置,选择VMnet0,点击左下角的Restore Default

Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLa

[开发]Win7环境下Eclipse连接Hadoop2.2.0

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立mven工程,并编辑pom文件如下 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.96.2-hadoop2</version> </dependency&g

ubuntu下eclipse连接mysql

提示:一定要保证电脑处于联网状态 我们要下载一个mysql-connector-java-5.0.8-bin.jar的东西(当然这个jar包的版本和你的mysql版本的关系不是很大),放到你新建的dynamic project下的WebContent目录下的WEB-INF下的lib,让这个Web工程能够连接Mysql数据库.官网http://dev.mysql.com/downloads/connector/j/5.0.html 之后在工程中的javaresources下的src目录新建一个cl

window下vnc连接ubuntu及双向剪切板功能

window下实现vnc连接远程ubuntu :http://www.linuxidc.com/Linux/2016-06/132442.htm 关于连接:上面文章可能会有个问题,锁屏状态下会无法连接:所以额外加两步: 1 开启自动登陆 2 锁屏关闭 双向剪切板:https://my.oschina.net/seava/blog/226966 关于易用性行:sudo vim /etc/rc.local 然后写入 vncconfig -nowin &   如此重启剪切板功能会一直支持(中文乱码解决

[原创] Windows下Eclipse连接hadoop

1 下载hadoop-eclipse-plugin :我用的是hadoop-eclipse-plugin1.2.1 ,百度自行下载 2 配置插件:将下载的插件解压,把插件放到..\eclipse\plugins目录下 3重启eclipse,配置Hadoop installation directory 打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径.(windows下只需把hadoop-1.2.1