Hadoop1.2.1安装笔记4:Hadoop环境验证

  • 格式化节点,只需一次
[[email protected] conf]$ hadoop namenode -format 
Warning: $HADOOP_HOME is deprecated. 

14/07/31 01:41:39 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = master.hadoop/10.15.5.200 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.1 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013 
STARTUP_MSG: java = 1.7.0_65 
************************************************************/ 
14/07/31 01:41:39 INFO util.GSet: Computing capacity for map BlocksMap 
14/07/31 01:41:39 INFO util.GSet: VM type = 64-bit 
14/07/31 01:41:39 INFO util.GSet: 2.0% max memory = 1013645312 
14/07/31 01:41:39 INFO util.GSet: capacity = 2^21 = 2097152 entries 
14/07/31 01:41:39 INFO util.GSet: recommended=2097152, actual=2097152 
14/07/31 01:41:39 INFO namenode.FSNamesystem: fsOwner=hadoop 
14/07/31 01:41:39 INFO namenode.FSNamesystem: supergroup=supergroup 
14/07/31 01:41:39 INFO namenode.FSNamesystem: isPermissionEnabled=true 
14/07/31 01:41:39 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 
14/07/31 01:41:39 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 
14/07/31 01:41:39 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0 
14/07/31 01:41:39 INFO namenode.NameNode: Caching file names occuring more than 10 times 
14/07/31 01:41:40 INFO common.Storage: Image file /usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds. 
14/07/31 01:41:40 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/edits 
14/07/31 01:41:40 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/edits 
14/07/31 01:41:40 INFO common.Storage: Storage directory /usr/hadoop/hadoop-1.2.1/tmp/dfs/name has been successfully formatted. 
14/07/31 01:41:40 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down NameNode at master.hadoop/10.15.5.200 
************************************************************/
  • 关了所有墙
[[email protected] conf]$ sudo service iptables stop 
iptables: Setting chains to policy ACCEPT: filter [ OK ] 
iptables: Flushing firewall rules: [ OK ] 
iptables: Unloading modules: [ OK ]
  • 开启hadoop
[[email protected] conf]$ start-all.sh 
Warning: $HADOOP_HOME is deprecated. 
starting namenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-master.hadoop.out 
10.15.5.201: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-slave01.hadoop.out 
10.15.5.202: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-slave02.hadoop.out 
10.15.5.200: starting secondarynamenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-master.hadoop.out 
starting jobtracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-jobtracker-master.hadoop.out 
10.15.5.202: starting tasktracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-slave02.hadoop.out 
10.15.5.201: starting tasktracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-slave01.hadoop.out
  • 检查与验证结果
[[email protected] conf]$ jps 
2965 JobTracker 
2889 SecondaryNameNode 
2723 NameNode 
3155 Jps
[[email protected] conf]$ jps 
2735 Jps 
2490 DataNode 
2577 TaskTracker 
[[email protected] conf]$
[[email protected] conf]$ jps 
2975 TaskTracker 
2880 DataNode 
3125 Jps
查看分区信息
[[email protected] conf]$ hadoop dfsadmin -report 
Warning: $HADOOP_HOME is deprecated. 

Configured Capacity: 10321133568 (9.61 GB) 
Present Capacity: 5132869632 (4.78 GB) 
DFS Remaining: 5132800000 (4.78 GB) 
DFS Used: 69632 (68 KB) 
DFS Used%: 0% 
Under replicated blocks: 0 
Blocks with corrupt replicas: 0 
Missing blocks: 0 

------------------------------------------------- 
Datanodes available: 2 (2 total, 0 dead) 

Name: 10.15.5.201:50010 
Decommission Status : Normal 
Configured Capacity: 5160566784 (4.81 GB) 
DFS Used: 40960 (40 KB) 
Non DFS Used: 2594131968 (2.42 GB) 
DFS Remaining: 2566393856(2.39 GB) 
DFS Used%: 0% 
DFS Remaining%: 49.73% 
Last contact: Thu Jul 31 02:09:02 CST 2014 

Name: 10.15.5.202:50010 
Decommission Status : Normal 
Configured Capacity: 5160566784 (4.81 GB) 
DFS Used: 28672 (28 KB) 
Non DFS Used: 2594131968 (2.42 GB) 
DFS Remaining: 2566406144(2.39 GB) 
DFS Used%: 0% 
DFS Remaining%: 49.73% 
Last contact: Thu Jul 31 02:09:02 CST 2014

  • C:\Windows\System32\drivers\etc 里修改host 实现本机访问hadoop文件

Hadoop1.2.1安装笔记4:Hadoop环境验证

时间: 2024-10-13 01:03:22

Hadoop1.2.1安装笔记4:Hadoop环境验证的相关文章

Hadoop1.2.1安装笔记3:hadoop配置

在/usr目录下建立 hadoop文件夹,赋予hadoop用户权限 (master) [[email protected] usr]$ sudo mkdir hadoop [[email protected] usr]$ ls -al  total 156  drwxr-xr-x. 2 root root 4096 Jul 31 00:17 hadoop  [[email protected] usr]$ sudo chown -R hadoop:hadoop hadoop [[email pr

Hadoop 1.2.1 安装笔记01 : Linux 与免密码

目标: 配置一个hadoop 1.2.1 测试环境  用的JDK是: jdk-7u65-linux-x64.gz 选的hadoop 是: hadoop-1.2.1.tar.gz 均来源Apache和oracle网站 主机规划: Linux版本 :  Centos 6.5 x64位  /boot:用来存放与Linux系统启动有关的程序,比如启动引导装载程序等,建议大小为100MB. /usr:用来存放Linux系统中的应用程序,其相关数据较多,建议大于3GB以上. /var:用来存放Linux系统

Hadoop学习笔记之Hadoop伪分布式环境搭建

搭建为伪分布式Hadoop环境 1.宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接. a) Host-only 宿主机与客户机单独组网: 好处:网络隔离: 坏处:虚拟机和其他服务器之间不能通讯: b) Bridge 桥接 宿主机与客户机在同一个局域网中. 好处:窦在同一个局域网,可以互相访问: 坏处:不完全. 2.Hadoop的为分布式安装步骤 a) 设置静态IP 在centos下左面上右上角图标右键修改: 重启网卡service network restart; 验证:

安装高可用Hadoop生态 (一 ) 准备环境

为了学习Hadoop生态的部署和调优技术,在笔记本上的3台虚拟机部署Hadoop集群环境,要求保证HA,即主要服务没有单点故障,能够执行最基本功能,完成小内存模式的参数调整. 1.    准备环境 1.1. 规划 克隆3台服务器,主机名和IP如下 主机名 IP 软件 hadoop 192.168.154.128 原始虚拟机用于克隆 hadoop1 192.168.154.3 Zookeeper,journalnode Namenode, zkfc, Resourcemanager hadoop2

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在

hadoop学习笔记(一)——hadoop安装及测试

这几天乘着工作之余,学习了一下hadoop技术,跌跌撞撞的几天,终于完成了一个初步的hadoop的安装及测试,具体如下: 动力:工作中遇到的数据量太大,服务器已经很吃力,sql语句运行老半天,故想用大数据技术来改善一下 环境:centos5.11+jdk1.7+hadoop2.5.2 1.  伪分布安装步骤 关闭防火墙 修改ip 修改hostname 设置ssh自动登录 安装jdk 安装hadoop 注:此部分涉及到的Linux操作部分可以再下面的链接中找到,Linux初级操作 2.  安装jd

CDH5.3集群安装笔记-环境准备(1)

Hadoop是一个复杂的系统组合,搭建一个用于生产的Hadoop环境是一件非常麻烦的事情.但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题,如果现在没有,那也是早晚的事.CDH是Cloudera旗下的Hadoop套装环境,CDH的相关介绍请各位亲自己查阅www.cloudera.com,我就不再多说了.这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境.虽然人家Cloudera牛人帮你解决了hadoop安装的问题,但随之而来的是:Cloudera Manager的安装不比h

hadoop环境安装准备

一. 安装JDK, 并配置环境变量 准备安装文件: jdk-6u24-linux-i586.bin 1. 把安装文件移动到/usr/local目录下, 进入到/usr/local目录下, 通过"."解压文件: 2. 解压完成后, 我们可以查看到新产生的目录jdk1.6.0_24, 使用mv命令重命名为jdk, 目的是方便以后引用 3. 配置环境变量:   vi /etc/profile  增加以下内容: export JAVA_HOME=/usr/local/jdk export PA

Hadoop自学笔记(五)配置分布式Hadoop环境

上一课讲了怎样在一台机器上建立Hadoop环境.我们仅仅配置了一个NHName Node, 这个Name Node里面包括了我们全部Hadoop的东西.包括Name Node, Secondary Name Node, Job Tracker, Task Tracker,这一课解说怎样把上述配置放到不同机器上.从而构建一个分布式的hadoop配置. 1. hadoop分布式安装概览 a) 2-10个nodes:Name Node, Job Tracker, Secondary Name Node