hadoop---前期准备---屌丝

  hadoop要求有多台机子进行后续的数据处理,作为屌丝一枚,怎么才能搭建一个合适的环境学习hadoop?这就是本篇将要介绍的----前期准备。

  搭建环境没啥好说的,说一下搭建环境多需要的吧

    硬件:电脑 (win7系统)

    软件: 虚拟机软件VMware Workstation Pro

        操作系统Centos 6.7

        终端模拟软件XShell

        反向代理软件ngrok

  安装配置VMware以及安装Centos系统就不介绍了,现在主要讲解下面的一些配置

  1.SSH服务

  直接在虚拟机里面操作有些麻烦,开启ssh服务以后就可以在win7系统上通过工具进行连接

  首先打开终端,输入 rpm -qa |grep ssh 查找当前系统是否已经安装ssh 

  如果没有安装,可以通过yum install ssh进行安装

  安装完成之,通过service sshd start命令启动ssh服务

  通过iptables stop命令将防火墙关闭

  可以通过ifup eth0(自己的网卡配置)开启网卡

  ifconfig查看IP

  打开XShell,点击新建打开新建回话窗口

  将centos的IP填写到主机框,端口默认是22,自己修改的话就换成自己的端口

  连接是需要输入centos的用户名和密码

  2.反向代理

  通过命令 cd / 进入根目录

  创建代理软件存放的文件夹 mkdir ngrok

  进入ngrok目录 cd ngrok

  将linux版本的ngrok软件包下载到win7

  xshell输入 yum install lrzsz 安装文件上传下载工具

  输入 rz -E 确定后选择刚下载的ngrok

  unzip linux_amd64.zip解压文件

  进入解压后的目录 cd linux_amd64

  编辑ngrok.xml文件vim ngrok.cfg

  

server_addr: "tunnel.qydev.com:4443"
trust_host_root_certs: false
tunnels:
  ssh:
    remote_port: 2222
    proto:
      tcp: "22"

保存退出,这是修改后的文件内容

  进入虚拟机里面的系统命令行

  通过命令 ./ngrok -config=ngrok.cfg start ssh开启服务

  其中有一行tcp://tunnel.qydev.com:2222 -> 127.0.0.1:22

  现在就可以新建xshell回话将主机 tunnel.qydev.com 端口2222,以及主机用户名登录系统了,外网可以访问。

到这儿,基本上的就差不多了,可以将想一起学习hadoop的朋友的电脑通过上面的配置启动起来。这就有了集群的基础---多台电脑网络间访问。

  

  

  

  

        

时间: 2024-12-10 03:39:10

hadoop---前期准备---屌丝的相关文章

Hadoop前期准备

Hadoop前置课程 Linux系统,基本命令 Java语言, JSE相关知识 MYSQL基本的DML和DDL SQL on HADOOP 虚拟机centos6.4准备工作: 原文地址:https://www.cnblogs.com/King-boy/p/10941164.html

Hadoop之——前期准备篇

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45950837 一.Hadoop核心项目 HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架 二.HDFS的架构 主从结构 主节点,只有一个: namenode 从节点,有很多个: datanodes namenode负责: 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与d

hadoop学习(一)   hadoop伪分布式环境搭建

前期准备 1.创建hadoop相关目录(便于管理) 2.给/opt/*目录赋予hadoop用户及所有组权限 sudo chrown -R hadoop:hadoop /opt/* 3.JDK安装与配置 配置HDFS/YARN/MAMREDUCE 1.解压hadoop tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ (删除doc下的帮助文档,节省空间) rm -rf /opt/modules/hadoop-2.5.0/share/doc/ 2.配置had

hadoop学习(一) 伪分布式环境初体验

前期准备 1.创建hadoop相关目录(便于管理) 2.给/opt/*目录赋予hadoop用户及所有组权限 sudo chrown -R hadoop:hadoop /opt/* 3.JDK安装与配置 配置HDFS/YARN/MAMREDUCE 1.解压hadoop tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ (删除doc下的帮助文档,节省空间) rm -rf /opt/modules/hadoop-2.5.0/share/doc/ 2.配置had

Hadoop、HBase、Hive整合安装文档

前期准备(版本匹配): Hadoop 2.x is faster and includes features, such as short-circuit reads, which will help improve your HBase random read profile. Hadoop 2.x also includes important bug fixes that will improve your overall HBase experience. HBase 0.98 depr

Hadoop集群搭建(非HA)

1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 ->

使用伪分布式的方法搭建hadoop

需要用到的软件:CentOS-6.5-x86_64-bin-DVD1.iso jdk-7u55-linux-i586.tar.gz hadoop-2.4.1 SecureCRTPortable 1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=这里输入想要的主机名 ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改(强烈推荐) 进入Linux图

hadoop的HA机制+zookeeper

关于hadoop的HA配置以及wordcount测试 一,简单环境配置 1,查看centos版本位数: $>getconf LONG_BIT, 2,桌面模式和文本模式之间进行切换: 1),在终端命令行进行设置时只能暂时改变模式, $>init 3    表示切换到文本模式 $>init 5    表示切换到桌面模式 2),永久改变模式需要修改配置文件,进入到etc目录下 $>sudo nano inittab   修改该文件最后一行 若需要文本模式则改为 id:3:initdefa

Hadoop简单入门之伪分布式搭建

前面两章主要讲解了完全分布式的搭建,这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置,启动,以及简单测试.我的机器:阿里云服务器,64位,Java64,Hadoop2.4.1(64) ? 所有软件下载百度云 密码:uup8 讲在开头:对于笔者的完全分布式环境请见该文:Hadoop完全分布式安装 写文章不易,欢迎大家采我的文章,以及给出有用的评论,当然大家也可以关注一下我的github:多谢: 1,Hadoop简单介绍: Apache Hadoop是一款支持数据密集型分布式应用,并以A