Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

 Hadoop介绍

Hadoop是一个能对大量数据进行分布式处理的软件框架。其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型，以及基于hdfs和MapReduce而开发的一系列上层应用软件。

hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨越多台计算机的分布式文件系统。目前支持的超大文件的范围为从MB级至PB级。

MapReduce是一种可用于数据处理的编程模型，基于MapReduce模型的程序本质上都是并行运行的。基于MapReduce编程模型的程序包括完成数据提取的map函数，对中间结果进行处理的merge函数（merge函数一般是可选的），以及生成最终处理结果的reduce函数。经过map函数和merge函数进行处理后的数据将是经过排序和分组的key-value，经过reduce对这些中间结果处理后生成最终的计算结果。其中map函数都是并行运行的，每个map函数负责处理大文件的一个文件块，因此对于基于hdfs文件系统的大文件来说，map函数可以充分利用多台计算机的处理能力，快速计算并出中间结果。

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.

The project includes these modules:

Hadoop Common: The common utilities that support the other Hadoop modules.

Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.

Hadoop YARN: A framework for job scheduling and cluster resource management.

Hadoop MapReduce: A YARN-based system for parallel processing of large data sets. www.169it.com

Hadoop最新稳定版Hadoop 2.4.1下载地址

Hadoop 2.4.1(2.X系列稳定版)下载地址:  Hadoop 2.4.1下载

hadoop 2.4.1 虚拟机安装-单节点安装步骤

1 安装java及java 环境变量的设置

2 设置账户，主机的hostname /etc/hosts

用户的.bash_profile 中加入如下内容


1

2

3

4

5

export JAVA_HOME=/usr/java/jdk1.7.0_60

export HADOOP_PREFIX=/home/hadoop/hadoop-2.4.1

export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"

export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"

export HADOOP_PREFIX PATH CLASSPATH

3 设置 无密码登陆

先确保所有主机的防火墙处于关闭状态。


1

2

3

4

$cd ~/.ssh

$ssh-keygen -t rsa    #然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。

$cp id_rsa.pub authorized_keys

sudo service sshd restart

4 hadoop2.4.1 的配置

进入hadoop2.4.1文件夹，配置etc/hadoop中的文件。


1

2

hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_60

另外可选的添加上：


1

2

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

5 配置hadoop2.4.1的core-site.xml


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

<configuration>

       <property>

                <name>fs.default.name</name>

                <value>hdfs://localhost:9000</value>

       </property>

       <property>

                <name>io.file.buffer.size</name>

                <value>131072</value>

        </property>

       <property>

               <name>hadoop.tmp.dir</name>

               <value>file:/home/hadoop/tmp</value>

       </property>

        <property>

                <name>dfs.namenode.name.dir</name>

               <value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>

       </property>

       <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>

       </property>

</configuration>

hdfs-site.xml 

<configuration>

        <property>

                <name>dfs.namenode.name.dir</name>

               <value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>

       </property>

       <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>

       </property>

       <property>

               <name>dfs.replication</name>

               <value>1</value>

       </property>

</configuration>

mapred-site.xml

<configuration>

       <property>

               <name>mapreduce.jobtracker.address</name>

               <value>hdfs://localhost:9001</value>

       </property>

</configuration>

yarn-site.xml

<configuration>

       <property>

               <name>mapreduce.framework.name</name>

               <value>yarn</value>

       </property>

       <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

       </property>

</configuration>

经过以上五步，hadoop2.4.1单机环境配置都已经完成了，下面启动:

./bin/hadoop namenode –format    格式化结点信息

bin/start-all.sh.     新版本的hadoop其实不建议这么直接start-all，建议一步步来，先start-dfs，然后在start-map

./bin/hadoop dfsadmin -report

http://localhost:50070

本文来源:Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

时间： 2024-10-12 13:40:53

Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装的相关文章

spring4.0.6最新稳定版新特性学习,注解自动扫描bean,自动注入bean(二)

Spring4.0的新特性我们在上一章已经介绍过了.包括它对jdk8的支持,Groovy Bean Definition DSL的支持,核心容器功能的改进,Web开发改进,测试框架改进等等.这张我们主要介绍spring4.0的自动扫描功能,以及对bean的过滤等特性进行学习. 好吧,废话少说,我们来看看代码吧. package com.herman.ss.test; import org.springframework.context.ApplicationContext; import org

spring4.0.6最新稳定版新特性学习,简单学习教程(一)

Spring Framework 4.0 学习整理. Spring框架的核心部分就是Ioc容器,而Ioc控制的就是各种Bean,一个Spring项目的水平往往从其XML配置文件内容就能略知一二,很多项目,往往是外包公司的项目,配置文件往往是乱七八糟,抱着能跑就行,不报错就行的态度去写,然后在项目中后期发现各种缺失又去一通乱补,其结果就是,整个文档可读性极差,毫无章法.这也不能怪写这个XML的人,拿着苦逼程序员的工资干着架构师的工作必然是这个结果.为了程序员的幸福,我认为有必要来一套简单快速的官方

jQuery UI 1.12.1 发布，最新稳定版

jQuery UI 最新稳定版 1.12.1 发布了.更新内容如下: Core & Utilities Widget FactoryFixed: Memory leak and bad performance for managed classes on transient elements (#15043, 89af4c2)Fixed: instance() should return undefined for empty sets (#15019, 3dd8a09)Interactions

一、hadoop单节点安装测试

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://

Genymotion配置及使用教程（最新最完整版附各部分下载地址）

Genymotion配置及使用教程(最新最完整版附各部分下载地址) FROM:http://blog.csdn.net/beiminglei/article/details/13776013 早都听说了Genymotion好用,今天才抽空把他配置出来,过程算是很曲折啊,不过好在完成了.而且我发现网上的教程都不怎么全,我还是找了好几篇文章才把他完整的配置出来,这篇是我从下载到项目运行成功的所有过程,希望对大家有所帮助.闲话到此结束. 首先第一步:注册Genymotion账号,要记下账号密码后面使用

Centos8安装最新稳定版Docker-ce出现package docker-ce-3:19.03.8-3.el7.x86_64 requires containerd.io &gt;= 1.2.2-3, but none of the providers can be installed

一.系统环境 1.1.Centos版本信息 [[email protected] ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="8 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="8" PLATFORM_ID="platform:el8" PRETTY_NAME=&qu

Hadoop单节点安装（转）

Hadoop单节点模式安装 官方教程:http://hadoop.apache.org/docs/r2.7.3/ 本文基于:Ubuntu 16.04.Hadoop-2.7.3 一.概述 本文参考官方文档介绍Hadoop单节点模式(本地模式及伪分布式模式)安装(Setting up a Single Node Cluster). 1.Hadoop安装的三种模式 (1)单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环

【大数据系列】hadoop单节点安装官方文档翻译

Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms Required Software Installing Software Download Prepare to Start the Hadoop Cluster Standalone Operation Pseudo-Distributed Operation Configuration Setu

hadoop单节点安装

java环境变量===================================== export JAVA_HOME=/home/test/setupPackage/jdk1.7.0_67 export JRE_HOME=/home/test/setupPackage/jdk1.7.0_67/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools