安装Hadoop伪分布式踩过的坑

折腾了好几天的问题,终于解决了。虽然这次遇到的问题没在网络上找到答案,不过,解决问题的过程或多或少受到了网上一些答案的启发。下面我将分享自己遇到的问题,并提供解决方法。

(一)、相关资料

http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html  #官网指导

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html  #shell命令

https://blog.csdn.net/jsutdoit/article/details/82120336  #指导博客

https://blog.csdn.net/weixin_38070561/article/details/81289601  #使用python中的pyhdfs连接HDFS进行操作

(二)、遇到的问题

1、web端访问正常,但是查看文件和上传文件都不行,点击下载文件默认跳转到:localhost:50075/XX/XX/ 在浏览器地址栏将localhost替换成服务器IP可以正常下载。

在网上查看了很多资料,改hdfs-site.xml,进入/etc/hosts添加主机名。。。无论改成什么样的主机名都不行。

想着,既然自动跳转到localhost,那我就将localhost和服务器IP绑定。添加一行  XX.XX.XX.XX(XX代指IP)  localhost.改完之后保存,重启Hadoop。

发现web端网页不能打开:http:XXX:50070打不开,查看日志文件,发现报错了。。。

根据日志文件可知是刚刚的主机名配置有问题。hadoop是取的这个“localhost.localdomain”,随即我将localhost换成localhost.localdomain。保存,重启Hadoop。

上传下载都没问题,大工告成。随后我用pyhdfs连接,也可以实现上传下载。啊。。。终于解开了心结。看似很小的一个问题,给我折腾了两天。唉~

原文地址:https://www.cnblogs.com/tanghu/p/10222891.html

时间: 2024-10-29 07:07:09

安装Hadoop伪分布式踩过的坑的相关文章

centos安装hadoop(伪分布式)

在本机上装的CentOS 5.5 虚拟机, 软件准备:jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gz ssh检查配置 Linux代码   [[email protected] ~]# ssh-keygen -t  rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root

Ubuntu 安装hadoop 伪分布式

一.安装JDK  : http://www.cnblogs.com/E-star/p/4437788.html 二.配置SSH免密码登录1.安装所需软件        sudo apt-get install install ssh2.配置ssh免密码登录        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys3.验证是否成功        ssh

安装hadoop伪分布式

修改hosts cat /etc/hosts 127.0.0.1 mo.don.com 创建用户 useradd hadoop passwd hadoop sudo授权 visudo hadoop ALL=(ALL) NOPASSWD: ALL 切换用户 su - hadoop 下载解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz tar xf hadoop-3.1.2.t

Window 10 WSL 下hadoop 伪分布式安装

Window 10 下的WSL子系统的安装可以参考之前的文章:window10 WSL子系统上设置redis开发环境 有时候,为了在window系统上进行hadoop开发和测试,可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04,所以下面的安装以此为参考 下面是具体的配置步骤: 1:JDK的安装配置:这是必不可少的步骤 2:ssh的安装配置:Ubuntu SSH安装及配置免密码登录,安装完后可以用 ssh localhost来验证是否成功 3:hadoop伪

构建Hadoop伪分布式环境

构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理,是个人的学习总结,以纪念在各个步骤中遇到的麻烦.踩过的坑! 这篇笔记包含这样几个内容: 配置伪分布式环境 运行一个简单的作业 可能遇到的问题及解决办法 配置伪分布式环境 本文中的内容基于Hadoop2,即MapReduce作业运行在Yarn平台之上. 打通SSH,实现无密码登陆 由于Hadoop控制脚本需要登陆到集群中的Slave节点执行操作(比如,启动守护进程),如果每一次登录都输入密码,显然不是个好办法.集群

Hadoop伪分布式的搭建

实验平台: Virtual Box 4.3.24 CentOS7 JDK 1.8.0_60 Hadoop 2.6.0 Hadoop基本安装配置主要包括以下几个步骤: 1)创建Hadoop用户 2)安装Java 3)设置SSH登陆权限 4)单机安装配置 5)伪分布式安装配置 1.1 创建Hadoop用户 linux创建用户的命令是useradd,设置密码的命令是passwd 在CentOS下,首先我们通过useradd命令创建一个Hadoop用户组,它的密码也是Hadoop: useradd ha

Hadoop伪分布式环境配置

Step1:关闭防火墙   service iptables stop[status]  service iptables status  chkconfig --list |grep iptables  chkconfig iptables offStep2:修改IP   (重启网卡:service network restart)Step3:修改hostname  /etc/hostsStep4:SSH免密码登陆  产生密钥(~/.ssh中)ssh-keygen -t rsa   cd ~/

Hadoop初体验:快速搭建Hadoop伪分布式环境

0.前言 本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建,以达到快速搭建的目的,从而体验Hadoop的魅力所在,为后面的继续学习提供基础环境. 对使用的系统环境作如下说明: 操作系统:CentOS 6.5 64位 主机IP地址:10.0.0.131/24 主机名:leaf 用户名:root hadoop版本:2.6.5 jdk版本:1.7 可以看到,这里直接使用root用户,而不是按照大多数的教程创建一个hadoop用户来进行操作,就是为了达到快速搭建Had

Hadoop伪分布式搭建步骤

说明: 搭建环境是VMware10下用的是Linux CENTOS 32位,Hadoop:hadoop-2.4.1  JAVA :jdk7 32位:本文是本人在网络上收集的HADOOP系列视频所附带的课堂笔记(这里直接抄过来的,望原谅,我不是坏人),记录备忘. 开始前让我们简单修改下LINUX系统的JDK:一般情况下,我们都要将linux自带的OPENJDK卸载掉,然后安装SUN的JDK(下面的代码来源网络,请注意真实自己环境) <1> 查看已经安装的JAVA版本信息 # java -vers