大数据

工欲善其事，必先利其器，啥都不说，hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/  选择好相应版本搞起

在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机）

1、hadoop 是大apache开源的分布式离线计算框架，语言：java，既然这样，要想搭建hadoop环境（不管伪分布式 还是多机集群），那必须在服务器上安装好jdk。

简单过程简单说，简要描述下jdk安装配置过程（据说，hadoop-2.3.0需要jdk1.7+版本支持，咱也不管了，那就装吧，版本：jdk-7u67-linux-i586.tar.gz，安装新jdk之前记得找到linux自带的jdk版本并删除，不明白处自百之）

a、解压到/usr/java目录下

tar  xvf jdk-7u67-linux-i586.tar.gz  -C /usr/java

b、 vi /etc/profile

export   JAVA_HOME=/usr/java/jdk1.7.0_67

export   CLASSPATH=/usr/java/jdk1.7.0_67/lib

export   PATH=$JAVA_HOME/bin:$PATH

c、source /etc/profile //不重启服务器情况下，这句让配置文件生效

d、java -version  //验证jdk是否正确安装

2、我们先规划好三台机，并制定好 三台机之后的角色：

主机名    ip                            角色

master  192.168.140.128    NameNode    ResourceManager

slave1   192.168.140.129    DateNode     NodeManager

slave2    192.168.140.130    DateNode     NodeManager

3、修改 主机名：

root 权限下：vi /etc/sysconfig/network

修改内容：HOSTNAME=master （同理 两台slave主机也要修改此配置，并分配相应的名字）

同时 vi  /etc/hosts          （ 同理 两台slave主机也要修改此配置，并分配相应的hosts对应关系）   
           127.0.0.1 master
           192.168.140.129 slave1
           192.168.140.130 slave2

修改完重启：reboot

4、建立hadoop用户（包括两台slave）：

useradd hadoop

passwd hadoop

5、master上配置SSH免密码登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/
    ls  //查看是否有生成两个文件 id_rsa.pub id_rsa

6、同步ssh信息到两台slave,  登录两台slave

mkdir /home/hadoop/.ssh

scp  id_rsa.pub [email protected]:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

7、新建hadoop安装目录  （root权限下操作）

mkdir -p /data/hadoop
8、 解压下载下来的hadoop安装包到安装目录（root权限下操作）

tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop
9、将安装目录权限赋予给 hadoop用户：（root权限下操作）

chown -R hadoop.hadoop /data/hadoop/
10、配置hadoop安装信息和路径（root权限下操作）
      vi /etc/profile （在最后加上下面内容）
           export HADOOP_HOME=/data/hadoop
           export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
      source /etc/profile  //让配置生效
11、master上/data/hadoop/etc/hadoop
      vi slaves
           slave1
           slave2
      vi masters
           master
12、修改如下几个文件，并在中间添加以下相应内容：

a、vi core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/data/hadoop/tmp</value>

</property>

</configuration>

b、vi hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/data/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.namenode.data.dir</name>

<value>file:/data/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

c、vi yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

d、mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

至此 配置文件基本配置完毕。

13、将master上的hadoop安装文件同步到slave1 slave2，(hadop用户权限下即可)

cd /data/hadoop
      scp -r /data/hadoop/*[email protected]:/data/hadoop/         //同步到slave1

scp -r /data/hadoop/*[email protected]:/data/hadoop/         //同步到slave2

14、最后我们来到 /data/hadoop/bin目录下

./hadoop namenode -format   //启动hadoop

15、如果没有报错信息，基本是可以说 hadoop起来了,随便截取了最后几段日志：

15/01/13 18:08:10 INFO util.GSet:VM type       = 32-bit

15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB

15/01/13 18:08:10 INFO util.GSet:capacity      = 2^19 = 524288 entries

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0

15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000

15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache on namenode is enabled

15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis

15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache

15/01/13 18:08:10 INFO util.GSet:VM type       = 32-bit

15/01/13 18:08:10 INFO util.GSet:0.029999999329447746% max memory 966.7 MB = 297.0 KB

15/01/13 18:08:10 INFO util.GSet:capacity      = 2^16 = 65536 entries

15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false

Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y

15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-729401054-127.0.0.1-1421143697660

15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.

15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0

15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1

************************************************************/

程序员干久了，性格沉闷，言辞干瘪，简单的描述只为做个记录，多多指教

时间： 2024-11-29 03:23:06

大数据的相关文章

关于MATLAB处理大数据坐标文件2017620

暑假已至,接下来组内成员将会各回各家,各找各妈,这肯定是对本次大数据比赛是很不利的. 接下来我会把任务分配给组员,当然任务会比起初的时候轻一点,因为我认为本次比赛的目的并不是我要求组员做什么,而是我的组员要求自己做什么! 我们现在主要接触的两门语言: MATLAB语言在数据处理方面很牛,它的画图功能也是杠杠的,尤其是3D画图 Python语言是一门近几年很火的语言,学好它对自己肯定只有益处,它的出生很晚,但是短短十多年,它已经稳居计算机语言前三名.尤其是现在的大数据时代,它的代码不仅简单易懂,而

【IT十八掌大数据】学习笔记

hive简介: -------------------- 0.big data的特点:4 Volumn variety velocity value 1.介绍 数据仓库    //online analyze process,在线分析处理. 用来查询和管理位于分布式存储设备上的大型数据集. Hive提供了一种类SQL语言--HiveQL(HQL)进行查询分析. HiveQL可进行插件式扩展. 擅长处理结构化数据.非结构化的数据没办法创建对应的模式. 位于hadoop之上,重点在于对大数据进行分析

Pandas中如何处理大数据？

近期的工作和Hive SQL打交道比较多,偶尔遇到一些SQL不好解决的问题,会将文件下载下来用pandas来处理,由于数据量比较大,因此有一些相关的经验可以和大家分享,希望对大家学习pandas有所帮助吧. 大文本数据的读写 有时候我们会拿到一些很大的文本文件,完整读入内存,读入的过程会很慢,甚至可能无法读入内存,或者可以读入内存,但是没法进行进一步的计算,这个时候如果我们不是要进行很复杂的运算,可以使用read_csv提供的chunksize或者iterator参数,来部分读入文件,处理完之后

一站式大数据敏捷分析平台

OpenFEA是一站式大数据敏捷分析系统,融合了内存计算.集群运算.机器学习.交互分析.可视化分析等技术,涵盖数据收集.数据探索.构建模型.模型发布等功能,分析性能卓越,使用简便,无需复杂编程即可快速实现大数据分析,助力数据分析师激扬数据,塑造业务标杆.          数据收集         OpenFEA能够融合更多类型的数据来进行运算,支持关系型数据源. Hadoop数据源.数据文件.第三方数据源. 支持数据源与接口/格式的双向自定义机制.表示各种复杂结构或LOAD和STORE各类数据

SPARK大数据计算BUG处理：

大数据计算BUG处理: 程序修改前资源情况: Driver : 1台 Worker : 2台 程序提交申请内存资源 : 1G内存 内存分配情况 : 1. 20%用于程序运行 2. 20%用于Shuffle 3. 60%用于RDD缓存 单条TweetBean大小 : 3k 1. 内存溢出 原因:因为程序会把所有的TweetBean查询出来并且合并(union),该操作在内存中进行.则某个campaign数据量较大时,如500W数据,则500W*10k=50G,超出内存限制. 解决方法: 先按数据量

联合国“全球脉动”计划 《大数据开发：机遇与挑战》

联合国"全球脉动"计划发布<大数据开发:机遇与挑战>2012 年 5 月 29 日,联合国"全球脉动"( Global Pulse)计划发布<大数据开发:机遇与挑战>报告,阐述了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战,并为正确运用大数据提出了策略建议.1. 引言技术创新和数字设备的普及带来了"数据的产业革命".对日益扩大的数字数据的分析将揭示关于集体行为的潜在联系,并有可能改进决策方式.大数

大数据vs计算机

大数据有两个方向,一个是偏计算机的,另一个是偏经济的.你学过Java,所以你可以偏将计算机 基础1. 读书<Introduction to Data Mining>,这本书很浅显易懂,没有复杂高深的公式,很合适入门的人.另外可以用这本书做参考<Data Mining : Concepts and Techniques>.第二本比较厚,也多了一些数据仓库方面的知识.如果对算法比较喜欢,可以再阅读<Introduction to Machine Learning>.当然,还

SparkRDD解密(DT大数据梦工厂)

第一阶段,彻底精通Spark 第二阶段,从0起步,操作项目 Hadoop是大数据的基础设施,存储等等 Spark是计算核心所在 1.RDD:基于工作集的应用抽象 2.RDD内幕解密 3.RDD思考 不掌握RDD的人,不可能成为Spark的高手 绝对精通RDD,解决问题的能力大大提高 各种框架底层封装的都是RDD,RDD提供了通用框架 RDD是Spark的通用抽象基石 顶级SPark高手, 1.能解决问题.性能调优: 2.Spark高手拿Spark过来就是修改的 ==========基于工作集的应

底层战详解使用Java开发Spark程序(DT大数据梦工厂)

Scala开发Spark很多,为什么还要用Java开发原因:1.一般Spark作为数据处理引擎,一般会跟IT其它系统配合,现在业界里面处于霸主地位的是Java,有利于团队的组建,易于移交:2.Scala学习角度讲,比Java难.找Scala的高手比Java难,项目的维护和二次开发比较困难:3.很多人员有Java的基础,确保对Scala不是很熟悉的人可以编写课程中的案例预测:2016年Spark取代Map Reduce,拯救HadoopHadoop+Spark = A winning combat

DT大数据 梦工厂57讲

今日[DT大数据梦工厂视频]<第57讲:Scala中Dependency Injection实战详解> 土豆:http://www.tudou.com/programs/view/5LnLNDBKvi8/ 百度网盘:http://pan.baidu.com/s/1c0no8yk (DT大数据梦工厂scala的所有视频.PPT和代码在百度云盘的链接地址:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-