Hadoop安装与部署

1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。
hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.
2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和taskreduce组成。
3、hadoop集群包含一个master和若干个slave角色。master称为namenode节点，slave为datanode节点。
4、hdfs命令
hdfs namenode -format：格式化hdfs文件系统
start-all.sh: 启动集群
jps: 查看节点进程
查看master统计信息和hdfs存储信息：http：//masterip:50070
hadoop fs -普通命令： 管理hdfs文件命令
hdfs dfsadmin -report：查看节点状态信息
hdfs dfsadmin -safemode enter|leave|get 开启|关闭|查看 安全模式，在安全模式下只可查看不可写入

原文地址：http://blog.51cto.com/13502820/2095613

时间： 2024-10-13 00:18:28

Hadoop安装与部署的相关文章

【原创】安装和部署Hadoop

安装和部署Hadoop 一.安装虚拟机 1.    服务器配置信息 Linux主机一 Linux主机二 Linux主机三 主机名:master 主机名:host1 主机名:host2 IP:192.168.100.100 IP:192.168.100.101 IP:192.168.100.100 HDFS MapReduce HDFS MapReduce HDFS MapReduce NameNode JobTracker DataNode TaskTracker DateNode TaskTr

Hadoop的伪分布式安装和部署的流程

1.准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt/test #测试 cd /opt mkdir install software other test #新建目录 JDK安装 cd /opt/install #进入安装包目录 ? rz jdk-8u

[原创]HBase学习笔记（1）-安装和部署

HBase安装和部署 使用的HBase版本是1.2.4 1.安装步骤(默认hdfs已安装好) # 下载并解压安装包 cd tools/ tar -zxf hbase-1.2.4-bin.tar.gz   # 重命名为hbase mv hbase-1.2.4 hbase # 将hadoop目录下的hdfs-site.xml 和 core-stie.xml拷贝到 hbase下的conf 目录中 cd /home/work/tools/hbase/conf cp /home/work/tools/ha

hadoop安装教程

hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase.Hive等,这些都是基于HDFS和MapReduce发展出来的.要想了解Hadoop,就必须知道HDFS和MapReduce是什么. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),它是一个高度容错性的系统,适合部署在廉价的机器上.HDFS能提供高吞吐量的数据访问,适

转载：Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop2.6(NN/RM)高可用集群安装与部署

Hadoop2对HDFS的改进很大,支持HDFS(NameNode) 和ResourceManager高可用性,避免集群中单点故障造成整个集群不可用.那么,从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统,具体根据下面规划来,本文只部署高可用Hadoop集群,后续很快更新其他软件部署. 一.部署前准备 1. 节点分配 HostName IP Hadoop HBase Zookeeper Hive HMaster0 192.168.18.215 NameNode HMaster /

Hive安装与部署集成mysql

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my

ubuntu下hadoop完全分布式部署

三台机器分别命名为: hadoop-master ip:192.168.0.25 hadoop-slave1 ip:192.168.0.26 hadoop-slave2 ip:192.168.0.27 部署前的基本准备:三台机器共同的用户hadoop,三台机器已经设置好静态ip且能互相ping通,三台机器的jdk已经安装好,路径最好一样. 大概流程: 1.修改主机名并在各个机器的/etc/hosts中相互添加ip和主机名 2.每台机器安装ssh,并实现master主机到slave主机无密码登录

Flume1.5.0的安装、部署、简单应用(含分布式、与hadoop2.2.0、hbase0.96的案例)

目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安装? 五.flume的案例 1)案例1:Avro 2)案例2:Spool 3)案例3:Exec 4)案例4:Syslogtcp 5)案例5:JSONHandler 6)案例6:Hadoop sink 7)案例7:File Roll Sink 8)案例8:Replicating Channel Sel