【若泽大数据实战第一天】大数据测试平台搭建

若泽大数据测试平台环境搭建

一、介质需求:

虚拟机:VMwareWorkstation  14.1.1.28517 大小:465.2MB

操作系统:CentOS-6.5-x86_64-bin-DVD1.iso 大小:4.16GB

二、测试环境搭建:

1、虚拟机安装:

打开VMware Workstation Pro 点击 :‘‘下一步 ‘‘

勾选‘‘我接受许可协议中的条款(A)‘‘ 点击 :‘‘下一步 ‘‘

我E盘是SSD

点击: ‘‘下一步 ‘‘

取消‘‘√‘‘选项 点击 ‘‘下一步 ‘‘

点击 :‘‘下一步 ‘‘

点击 ‘‘安装 ‘‘

点击: ‘‘完成 ‘‘

VMware Workstation 14 Pro永久激活密钥 :点击 ‘‘完成 ‘‘

CG54H-D8D0H-H8DHY-C6X7X-N2KG6

ZC3WK-AFXEK-488JP-A7MQX-XL8YF

2、新建虚拟机:

选择‘‘自定义(高级)‘‘ :点击 ‘‘下一步 ‘‘

选择向下兼容的虚拟机版本:点击 ‘‘下一步 ‘‘

选择安装介质,选择稍后安装操作系统:点击 ‘‘下一步 ‘‘

选择需要安装的操作系统版本,选择 CentOS 6 64位 :点击 ‘‘下一步 ‘‘

虚拟机命名及选择安装路径:点击 ‘‘下一步 ‘‘

选择处理器及核心数:点击 ‘‘下一步 ‘‘

大数据测试环境内存大小设置为4G:点击 ‘‘下一步 ‘‘

选择网卡模式,这里选择NAT : 点击 ‘‘下一步 ‘‘

选择磁盘物理模式 : 点击 ‘‘下一步 ‘‘

选择磁盘类型 : 点击 ‘‘下一步 ‘‘

创建新的虚拟磁盘:点击 ‘‘下一步 ‘‘

设置磁盘大小及磁盘文件存储类型:

我们设置为50G,选择存储为单个文件,不立即分配所有空间:点击 ‘‘下一步 ‘‘

设置磁盘文件名:点击 ‘‘下一步 ‘‘

点击 ‘‘完成 ‘‘ 虚拟机创建结束

创建完成的虚拟机如下图:

设置安装介质,保存并退出:

3、安装操作CentOs 6.5:

选择第一个 install or upgrade an existing system: 回车

点击Skip,跳过磁盘检测:回车

点击:next

选择安装语言,Chinese(Simplified) (中文(简体)) 点击:next

选择键盘语言,美国英语式 点击 ‘‘下一步 ‘‘

选择存储设备,我们选择 base storage  devices 点击 ‘‘下一步 ‘‘

选择 是,忽略所有数据 点击 ‘‘下一步 ‘‘

主机名:hadoop01

ip地址:192.168.56.10 /24    192.168.56.1  点击:应用 ‘‘下一步 ‘‘

选择时区,我们选择亚洲,上海:点击 ‘‘下一步 ‘‘

设置root用户的密码,我们设置为oracle,选择无论如何都使用:点击 ‘‘下一步 ‘‘

选择安装类型,我们选择自定义布局:点击 ‘‘下一步 ‘‘

创建分区:

swap : 8192

boot : 200MB

/ : 使用剩余所有空间,强制主分区

选择 格式化 → 将更改写入到磁盘:点击 ‘‘下一步 ‘‘

选择引导驱动器:点击 ‘‘下一步 ‘‘

选择 Desktop 现在自定义 安装 :

作为DBA的我喜欢把许多包都打上 选择 Database Server

基本系统:兼容程序(全勾选)继承UNIX兼容性(勾选 telnet选项)

服务器

Web服务

数据库 勾全部取消

系统管理:系统管理(全勾选)

虚拟化

桌面:第一个不选择,剩余选项 全选

应用程序:EMACS(勾选) 互联网浏览器(勾选)

开发:开发工具 全部勾上软件包 附加开发(全沟)

语言:中文,英语

点击 ‘‘下一步 ‘‘

安装软件包ing

点击 ‘‘重新引导 ‘‘

点击 ‘‘前进 ‘‘

点击 ‘‘前进 ‘‘

设置普通的用户名和密码,权限比root小:点击  ‘‘ 前进 ‘‘

设置日期和时间:点击  ‘‘ 前进 ‘‘

不启用 kdump:点击  ‘‘ 完成 ‘‘

操作系统已经安装完毕

三、测试环境参数配置:

修改CentOS 6.5主机名

1. vi /etc/sysconfig/network

[[email protected] ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01
2.hostname  直接命名
[[email protected] ~]#hostname hadoop01
3. vi /etc/hosts
[[email protected] ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.137.30 hadoop01

四、CentOS6.5  配置静态 IP  和可访问外网

关闭windows 7 防火墙

关闭CentOS 6.5防火墙

开启VMware两个服务

无线网卡的网络( 或者插网线的网络) 上设置网络共享,选择 VM8

使用 ipconfig -all  命令查看 DNS 、IPv4

配置 VM8  的选择  使用配置 ip

进入 vmnet8, 单击菜单栏的 编辑-->虚拟网络编辑器

hadoop01  配置 NAT

进入hadoop01编辑,ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0

网络配置文件参数(参考)

将hadoop01网络重启

虚拟机可以连接外网

五、操作系统优化

配置本地yum源

mkdir /iso
mount /dev/cdrom /mnt
mount -a
# 屏幕出现挂载信息 mount: block device /dev/sr0 is write-protected, mounting read-only
# 表示已经挂载
mkdir /etc/yum.repos.d/bak/
mv /etc/yum.repos.d/CentOS-* /etc/yum.repos.d/bak/
# 将原来的配置文件移动走
cat >/etc/yum.repos.d/p.repo<<EOF
[p]
name=p
baseurl=file:///iso/
enabled=1
gpgcheck=0
EOF
# 新建配置文件,其中baseurl使用file参数指定本机的/iso/目录
# enabled=1 表示启用
# gpgcheck=0 表示不做gpg的对比检查
yum clean all
yum makecache
# 看到进度条表示配置成功
yum -y install wget
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
# 下载阿里云的yum源配置文件
yum clean all
yum makecache
# 这样本地yum源和网络yum源就配置成功了

以下命令按自己需求,不要随便使用,开不了机,后果自负

优化关闭开机启动项

chkconfig blk-availability off
chkconfig ip6tables off
chkconfig lvm2-monitor off
chkconfig netfs off
chkconfig postfix off
chkconfig mdmonitor off
# 还有一些开机启动优化项可以在今后做优化选择
chkconfig kdump off
chkconfig NetworkManager off
chkconfig abrt-ccpp off
chkconfig abrtd off
chkconfig acpid off
chkconfig certmonger off
chkconfig cpuspeed off
chkconfig cups off
chkconfig nfslock off
chkconfig portreserve off
chkconfig rpcbind off
chkconfig rpcgssd off
chkconfig rpcidmapd off

设置自动任务校准时间

yum -y install ntpdate
ntpdate -u ntp1.aliyun.com
# 使用阿里云的ntp服务器做时间校准
echo ‘/usr/sbin/ntpdate -u ntp1.aliyun.com‘>>/etc/rc.local
crontab -l>/tmp/crontab.tmp
echo ‘#OS Time Sync‘>>/tmp/crontab.tmp
echo ‘0 * * * * /usr/sbin/ntpdate -u ntp1.aliyun.com>>/root/ntpdate.log 2>&1;/sbin/hwclock -w‘>>/tmp/crontab.tmp
cat /tmp/crontab.tmp |crontab
rm -rf /tmp/crontab.tmp
# 设置开机启动时间校准和自动任务时间校准
cp -av /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 如果忘记设置时区,可以手动设置时区为东八区

大数据课程推荐:

原文地址:https://www.cnblogs.com/qianghandejuren/p/9097914.html

时间: 2024-08-04 07:08:30

【若泽大数据实战第一天】大数据测试平台搭建的相关文章

《OD大数据实战》hadoop伪分布式环境搭建

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools chmod 775 /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [[email protected]02 opt]$ pwd /opt [[email

《OD大数据实战》hive环境搭建

一.搭建hadoop环境 <OD大数据实战>hadoop伪分布式环境搭建 二.hive环境搭建 1. 准备安装文件 下载地址: http://archive.cloudera.com/cdh5/cdh/5/ hive-0.13.1-cdh5.3.6.tar.gz 2. 解压 tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 修改配置 cd /opt/modules/cdh/hive-0.13.1-cdh5.3.6/con

《OD大数据实战》驴妈妈旅游网大型离线数据电商分析平台

一.环境搭建 1. <OD大数据实战>Hadoop伪分布式环境搭建 2. <OD大数据实战>Hive环境搭建 3. <OD大数据实战>Sqoop入门实例 4. <OD大数据实战>Flume入门实例 5. <OD大数据实战>Kafka入门实例 6. <OD大数据实战>Oozie环境搭建 7. <OD大数据实战>HBase环境搭建 二.

下载大数据实战课程第一季Python基础和网络爬虫数据分析

python语言近年来越来越被程序相关人员喜欢和使用,因为其不仅简单容易学习和掌握,而且还有丰富的第三方程序库和相应完善的管理工具:从命令行脚本程序到gui程序,从B/S到C/S,从图形技术到科学计算,软件开发到自动化测试,从云计算到虚拟化,所有这些领域都有python的身影:python已经深入到程序开发的各个领域,并且会越来越多的人学习和使用. 大数据实战课程第一季Python基础和网络爬虫数据分析,刚刚入手,转一注册文件,视频的确不错,可以先下载看看:链接:http://pan.baidu

Kylin大数据 实战 教程

Kylin大数据实战教程链接:https://pan.baidu.com/s/17vuLNQDjBGUirQV_IdXgfg提取码:bj4b 复制这段内容后打开百度网盘手机App,操作更方便哦课程学习地址:https://www.xuetuwuyou.com/course/316请添加链接描述课程出自学途无忧网:www.xuetuwuyou.com咨询QQ:2591905126 本课程为专题课,通过全面讲解Kylin架构原理.分布式集群搭建以及项目案例,让你快速掌握Kylin实时大数据BI技术,

自学it18大数据笔记-第一阶段Java-day16-day17-day18-day19--day20-day21-day22——会持续更新

转行大数据领域,没报班,自学试试,能坚持下来就以后好好做这行,不能就--!准备从现有这套it18的视屏残本开始--自学是痛苦的,发博客,算是监督自己,督促自己坚持学下去. (教学视屏是it18做活动送的,虽不全,但徐培成老师讲的真心不错,特此感谢it18掌--帮你们打打广告) 笔记为自学时记录,如有错误,欢迎指正,不胜感激! 笔记分享:自学it18大数据笔记-第一阶段Java-day16-day17-day18-day19--day20-day21-day22--会持续更新-- 第一阶段Java

自学it18大数据笔记-第一阶段Java-day09-day10-day11-day12-day13-day14-day15

转行大数据领域,没报班,自学试试,能坚持下来就以后好好做这行,不能就--!准备从现有这套it18的视屏残本开始--自学是痛苦的,发博客,算是监督自己,督促自己坚持学下去. (教学视屏是it18做活动送的,虽不全,但徐培成老师讲的真心不错,特此感谢it18掌--帮你们打打广告) 笔记为自学时记录,如有错误,欢迎指正,不胜感激! 笔记分享:自学it18大数据笔记-第一阶段Java-day09-day10-day11-day12--day13-day14-day15--会持续更新-- 第一阶段Java

王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典 - 第71讲

王家林亲授<DT大数据梦工厂>大数据实战视频 Scala 深入浅出实战经典(1-71讲)完整视频.PPT.代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 腾讯微云:http://url.cn/TnGbdC 360云盘:http://yunpan.cn/cQ4c2UALDjSKy 访问密码 45e2 技术爱好者尤其是大数据爱好者 可以加DT大数据梦工厂的qq群 DT大数据梦工厂① :462923555 DT大数据梦工厂②:437123764 DT大数据梦工厂③

自学it18大数据笔记-第一阶段Java-day05-day06-day07-day08

转行大数据领域,没报班,自学试试,能坚持下来就以后好好做这行,不能就--!准备从现有这套it18的视屏残本开始--自学是痛苦的,发博客,算是监督自己,督促自己坚持学下去. (教学视屏是it18做活动送的,虽不全,但徐培成老师讲的真心不错,特此感谢it18掌--帮你们打打广告) 笔记为自学时记录,如有错误,欢迎指正,不胜感激! 笔记分享:自学it18大数据笔记-第一阶段Java-day05-day06-day07-day08--会持续更新-- 第一阶段Java-day03-day04见:http: