基于Ubuntu16搭建Hadoop大数据完全分布式环境

【目的】:学习大数据

在此记录搭建大数据的过程。

【系统环境】

宿主机操作系统:Win7 64位

虚拟机软件:Vmware workstation 12

虚拟机:Ubuntu 16 64位桌面版

【搭建过程】

一、准备

1、安装文件准备

Hadoop软件:

JDK:

Ubuntu 16的安装软件

2、虚拟机准备

测试计划使用三台虚拟机

在Win7里启动Vmware workstation,安装一台操作系统为Ubuntu 16的空的虚拟机,从这台虚拟机另外再克隆出来两台

3、机器名称:hadoop.master、hadoop.slave1、hadoop.slave2

通过修改/etc/hostname来设置虚拟机的主机名称

#vi /etc/hostname

4、查看和确定网关,我这测试环境的网关是:192.168.152.2

5、规划三台虚拟机的IP:192.168.152.21、192,168.152.22、192.168.152.153

6、修改/etc/hosts,修改hosts文件目的是为了这三台虚拟机可以通过机器名称互相访问

7、为虚拟机设置静态IP

只所以设置为静态IP,是因为虚拟机启动后,有时会自动变更IP,而在搭建的大数据环境里,会配置IP地址,动态变化后,会出现IP地址不匹配。

8、增加user,这个用户专用于操作hadoop

1)、这里用户名设为:hadoop

#useradd hadoop

2)、为增加的账号设置口令

#passwd hadoop

3)、把新增的这个用户设为管理员,编辑/etc/sudoers

注意:Tab键的使用

9、

二、设置免密登录

三、安装和配置Java环境

四、安装和配置Hadoop

原文地址:https://www.cnblogs.com/SH170706/p/10281842.html

时间: 2024-11-03 22:05:22

基于Ubuntu16搭建Hadoop大数据完全分布式环境的相关文章

ambari 搭建hadoop大数据平台系列4-配置ambari-server

ambari 搭建hadoop大数据平台系列4-配置ambari-server,分为三部分: 官网:  https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html 安装ambari-server  配置ambari-server  命令;ambari-server setup 启动ambari-server 命令

ambari 搭建hadoop大数据平台系列1-概述

最近要为第三方搭建一套大数据平台,中间先进行了虚拟机版本,测试通过后,进行了物理机版本的生产环境,网上关于ambari 的文章并不多,但好在ambari 官方文档质量略高,社区比较活跃,便整理该系列的文档,将埋掉的坑抛出来,帮助小伙伴们更加快速的搭建自己的hadoop 平台. 分三个部分: 1. 为什么选择ambari 来搭建 说到ambari, 主要的对手cloudrea manager ,大家比较熟悉,至于各自长短,优势劣汰,大家自己斟酌选择啦. Cloudera Manager is di

ambari 搭建hadoop大数据平台系列2-客户机配置

本案例搭建的环境介绍如下:Ambari 2.4.2 + HDP 2.5 (hadoop 2.7 :hive 1.2 :Tez :Spark 2.0)+jdk1.8.25 +centos7.0,这里首先要关注些注意事项,至于为什么会一一说明. 第一部分:注意事项: 版本必须低于7.2 selinux 必须关闭 firewalld 必须关闭 127.0.0.1  hosts该条记录删除 本地仓库必须搭建 root 账户ssh 启用 指定hdfs data 目录 安装jdk1.8.0 所有机器时间必须

ambari 搭建hadoop大数据平台系列3-搭建本地仓库

1.官方参考 https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/setting_up_a_local_repository_with_no_internet_access.html 2.本地实例 10.1.11.32 localRepository-11-32   下载路径:记得下载后md5校验,下载时间很长. HDP: http://public-repo-1.hort

ambari 搭建hadoop大数据平台系列6-验证测试

web 检查组件服务是否正常启动 shell 端检查服务是否健康 hdfs fsck / -files -blocks -locations java api/ python 检查服务是否正常

Hadoop大数据之准备工作/环境安装

学习hadoop也有些时日了.最近刚好比较闲,就把hadoop的一些东西做一些总结和记录~希望可以帮助一些初入hadoop的童鞋.大神们就请自觉绕道吧~毕竟我还是一枚小小的技术渣^_^ OK~不扯了,从头说起 准备须知: 1.VMware虚拟机(是个虚拟机就行,这里仅以VMware为例吧) 2.Linux系统.(我用的是ubuntu,其他的以后会再做记录) 3.jdk-6u34-linux-i586.bin (Linux下的java安装包) 4.hadoop-2.4.1.tar.gz(Linux

大数据伪分布式搭建

大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识,所有对创建虚拟机那块就不给予详细的说明了. 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统:centos 7 Hadoop版本: Apache Hadoop 3.0.0 本次实验是搭建一台master和两台node节点.因为我们主要的目的是想让大家了解一下Hadoop伪分布式的搭建流程,如果说大家的电脑小于8G的话,那就每台节点就大概开个1.5G左右,也是为了大家有一个好的体验. 修

Hadoop实战视频教程完整版 完整的Hadoop大数据视频教程

分享一套迪伦老师的完整的Hadoop实战视频教程,教程从学习Hadoop需要的数据库.Java和Linux基础讲起,非常适合零基础的学员,课程最后结合了实战项目演练,理论结合实战,深入浅出,绝对是当前最为完整.实战的Hadoop教程. <Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉及项目:京东商城.百度.阿里巴巴 咨询QQ:1337192913(小公子)

Hadoop大数据时代:Hadoop&amp;YarnSpark企业级最佳实践 (4天)

Hadoop.Yarn.Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课. 大数据时代的精髓技术在于Hadoop.Yarn.Spark,是大数据时代公司和个人必须掌握和使用的核心内容. Hadoop.Yarn.Spark是Yahoo!.阿里淘宝等公司公认的大数据时代的三大核心技术,是大数据处理的灵魂,是云计算大数据时代的技术命脉之所在,以Hadoop.Yarn.Spark为基石构建起来云计算大数据中心广泛运行于Yahoo!.阿里淘宝.腾