【源】从零自学Hadoop(03):Linux准备上

阅读目录

  • 检查列表
  • 常用Linux命令
  • 搭建环境
  • 系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

  在上一步骤,我们已经准备了4台虚拟机,分别是H30,H31,H32,H33。其中H30为我们的Ambari服务器,H31为NameNode服务器,H32,H33为我们的DataNode服务器。

  接下来,我们就得准备下这些虚拟机的Linux环境了。

检查列表

  1、网络访问

  2、防火墙

  3、Hosts

  4、Vim

  5、Yum

  6、SSH

  7、JDK

  8、时间同步

常用Linux命令

  1、进入目录 cd /etc

  带斜杠的是绝对路径,如果不带,就是进入当前目录下的子目录。

  2、列举该目录结构 ls -al

  3、查看文件内容 cat /etc/hosts

  4、修改某个文件 vi /etc/hosts

                    vim /etc/hosts

  5、重启 reboot

  6、提权  su root

sudo

  7、开启服务 service ntpd start

  8、查看服务状态 service ntpd status

  9、关闭服务 service ntpd stop

  10、开机自启动 chkconfig ntpd on

  11、删除文件 rm /var/www/html/abc

  12、删除文件夹 rm -rf /var/www/html/aa

  13、SSH登陆 ssh [email protected]

ssh h31

  14、修改文件,文件夹权限 chmod 700 /var/www/html/aa

  15、复制文件并改名 cat id_rsa.pub >>authorized_keys

  16、查看包状态  rpm -qa|grep ssh

  17、yum安装 yum install ssh

  18、拷贝文件、文件夹到其他机器 scp /root/.ssh [email protected]:/root/.ssh/

  19、查看机器名 hostname

  20、查Ip等信息 ifconfig

搭建环境

一:使用Xshell 4登陆H30-新建会话

  Xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

 

二:使用Xshell 4登陆H30-连接会话

三:使用Xshell 4登陆H30-输入密码

  记住登录名,记住密码(自己部署的玩,记住密码很节约时间)

四:修改字体大小,编码格式等

  快捷栏->点击像球一样的图标,选择UTF-8

  快捷栏->点击字母的图标,字体改成14。字小太伤眼睛了,根据自己合适的改吧。

五:关闭防火墙

#关闭防火墙
service iptables stop

#永久关闭防火墙
chkconfig iptables off

#查看防火墙状态
service iptables status

六:关闭SELinux

#编辑 SELinux 配置文件
vim /etc/selinux/config

#改状态
SELINUX=disabled

  这里大家要是对vi vim 不熟悉的话,上网查一下命令。我只做简单的介绍:

  vim 分3种模式,浏览,编辑,输入命令

  shift+i或者shift+o可以进入编辑模式,esc可以退出编辑模式

  在浏览模式输入:就是可以输入命令,比如:q退出,:q!不做保存退出,:wq保存退出

七:卸载OpenJDK,安装Sun的JDK(现在叫Oracle了)

#检查java安装情况
rpm -qa|grep java#卸载openJDKrpm -e --nodeps 文件名

  这里我们检查不到安装,那可以直接装JDK

#新建文件夹
cd /var
mkdir -p  www/html

  使用Xftp 4将下载好的jdk上传到H30,也可以点Xshell的xftp链接。

#安装
cd /var/www/html
rpm -ivh jdk-7u67-linux-x64.rpm

#查看版本java -version

八:修改Hosts

  每个系统中都要修改成这样。

#编辑hosts
vim /etc/hosts

九:SSH设置

  进入H30,查看ssh是否安装,如果有,继续,没有安装下。

rpm -qa|grep ssh

  创建.ssh目录。查看文件中,第一个字母d表示是目录,后面跟着的是权限,比如创建者,一般的人,大家有兴趣查下Linux的文件权限。

#进入root目录
cd /root
#创建.ssh目录
mkdir .ssh
#设置权限
chmod 700 .ssh
#检查
ls -al

  开始创建SSH密钥

#创建,后面3个回车
ssh-keygen -t rsa

  复制id_rsa.pub 到authorized_keys

cd .sshcat id_rsa.pub >> authorized_keys

 拷贝ssh到H31-H34,登陆,发现可以不用输入密码了,就算ssh设置成功

ssh [email protected]
#copy
scp /root/.ssh/authorized_keys [email protected]:/root/.ssh/
#login
ssh [email protected]

  这一期的内容比较多,就分成上下两部分。

系列索引

  【源】从零自学Hadoop系列索引

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

时间: 2024-10-05 09:48:51

【源】从零自学Hadoop(03):Linux准备上的相关文章

【源】从零自学Hadoop(04):Linux准备下

阅读目录 序 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 我们已经准备好了网络访问,防火墙,Hosts,SSH等设置,下面我们根据上篇中的检查列表处理下剩下的内容,包括yum,时间同步,本地仓库等. 我们开始吧. 搭建环境 一:检查yum,出现了列表就说明已经安装. rpm -qa|grep yum 二:修改yum源 由于国内网络的情况,所以尽量还是找点国内的镜像,

【源】从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上

阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive的表操作做了简单的描述和实践.在实际使用中,可能会存在数据的导入导出,虽然可以使用sqoop等工具进行关系型数据导入导出操作,但有的时候只需要很简便的方式进行导入导出即可   下面我们开始

【源】从零自学Hadoop(08):第一个MapReduce

阅读目录 序 数据准备 wordcount Yarn 新建MapReduce 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们的Eclipse插件搞定,那开始我们的MapReduce之旅. 在这里,我们先调用官方的wordcount例子,然后再手动创建个例子,这样可以更好的理解Job. 数据准备 一:说明 wordcount这个类是对不同的word进行统计个

【源】从零自学Hadoop(02):环境准备

阅读目录 起因 虚拟机 Linux 系统安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 起因 我们对Hadoop有了初步的认知,得有NameNode,DataNode,NameNode和DataNode可以在一个机器上,但这样效果不好.由于本人的机器只有8G内存,所以这里就创建4个虚拟机一个专门给Ambari使用,一个给NameNode,另外两个给DataNode. 我们开始迈

【源】从零自学Hadoop(15):Hive表操作

阅读目录 序 创建表 查看表 修改表 删除表 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive和对其进行了安装,下面我们就初步的使用hive进行讲解.   下面我们开始介绍hive的创建表,修改表,删除表等. 创建表 一:Hive Client 在Terminal输入hive命令需要安装Hive Client. 二:进入 切换用户,进入hive su h

【源】从零自学Hadoop(12):Hadoop命令中

阅读目录 序 HDFS Commands User Commands Administration Commands Debug Commands 引用 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们对Hadoop命令进行了简略的列举,但是Hadoop命令特多,还有一部分没有列举完,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅. 下面,我们就开始对Hadoo

【源】从零自学Hadoop(11):Hadoop命令上

阅读目录 序 概述 Hadoop Common Commands User Commands Administration Commands File System Shell 引用 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们从发展历程,架构,MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年,2.x的发展已经可以适合很多的应用

【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下

阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive的数据多种方式导入,这样我们的Hive就有了数据来源了,但有时候我们可能需要纯粹的导出,或者集群Hive数据的迁移(不同集群,不同版本),我们就可以通过这两章的知识来实现.   下面我们开始介绍hive的数据导出,以及集群Hive数据的

【源】从零自学Hadoop(14):Hive介绍及安装

阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 本系列已经有一个多月没更新了,期间涉及到找相关对应的工作,所幸的事,得到了几个offer,后来综合考虑来到了目前这家工作.希望在接下来的时间里,能融入整个社区中去,做出自己略微的贡献. 上一篇,我们列举了hadoop常用的命令,本应该给大家实战下命令的使用的,后来还是想大家自己下去试验试验,接下来开始初略介