Hadoop快速入门(Hadoop下载与安装)

Hadoop下载与安装

官网下载

打开Apache Hadoop官方网址http://hadoop.apache.org/

The requested file or directory is not on the mirrors.

It may be in our archive : http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

可以使用迅雷等多线程下载工具来下载,支持断点续传。成功下载后得到hadoop-2.7.3.tar.gz压缩文件,204M。请检查压缩包是否204M,浏览器下载的话可能会中断。

上传至虚拟机

通过ll或ls命令可以查看到已经上传到虚拟机node1上的hadoop-2.7.3.tar.gz压缩文件

解压缩

需要将Hadoop安装到/opt目录下。

通过下面命令直接将hadoop-2.7.3.tar.gz解压缩到/opt目录下

tar -zxvf hadoop-2.7.3.tar.gz -C /opt

通过cd /opt/hadoop-2.7.3命令切换到hadoop根目录,然后通过ll命令查看

目录结构分析

如上图Hadoop的目录结构:

bin :Hadoop 最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop 。
    etc :Hadoop 配置文件所在的目录,包括core-site.xml 、hdfs-site.xml 、mapred-site.xml 等从Hadoop 1.0 继承而来的配置文件和yarn-site.xml 等Hadoop 2.0 新增的配置文件。
    include :对外提供的编程库头文件(具体动态库和静态库在lib 目录中),这些头文件均是用C++ 定义的,通常用于C++ 程序访问HDFS 或者编写MapReduce 程序。
    lib :该目录包含了Hadoop 对外提供的编程动态库和静态库,与include目录中的头文件结合使用。
    libexec :各个服务对应的shell 配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM 参数)等基本信息。
    sbin :Hadoop 管理脚本所在目录,主要包含HDFS 和YARN 中各类服务的启动/ 关闭脚本。
    share :Hadoop 各个模块编译后的jar 包所在目录 。

原文地址:https://www.cnblogs.com/mtime2004/p/9996716.html

时间: 2024-11-09 00:45:03

Hadoop快速入门(Hadoop下载与安装)的相关文章

从预装版VM快速入门hadoop

利用预装VM,有以下两种形式 The?Cloudera QuickStart Virtual Machine. This image runs within the free VMWare player,?VirtualBox, or KVM and has Hadoop, Hive, Pig and examples pre-loaded. Video lectures and screencasts walk you through everything. The?Hortonworks S

Hadoop快速入门(WordContent简单应用)

Hadoop快速入门 WordContent简单应用 Hadoop的HelloWorld程序 创建HDFS目录 hdfs命令位于bin目录下,通过hdfs dfs -mkdir命令可以创建一个目录. [[email protected] hadoop-2.7.3]# bin/hdfs dfs -mkdir -p input dfs创建的目录默认会放到/user/{username}/目录下面,其中{username}是当前用户名.所以input目录应该在/user/root/下面. 下面通过`h

win7下Hadoop学习 之 Cygwin下载、安装、配置

一.下载: Cygwin 官网: http://www.cygwin.com/ 根据win7系统是32位还是64位自行选择. 二.安装: 下载完成后,运行setup-x86_64.exe(64位)程序,出现安装画面.直接点“下一步”,出现安装模式的对话框,如下图所示: 我们看到有三种安装模式: Install from Internet,这种模式直接从Internet安装,适合网速较快的情况: Download Without Installing,这种模式只从网上下载Cygwin的组件包,但不

大数据Hadoop快速入门

1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效.可伸缩的特点 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 2.HDFS 源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障 HDFS简化了文件一致性模

大数据学习之Hadoop快速入门

1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效.可伸缩的特点.大数据学习资料分享群119599574 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 2.HDFS 源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和

大数据初学者的福利——Hadoop快速入门教程

1.Hadoop生态概况 Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠.高效.可伸缩的特点 Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下 2.HDFS 源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障 HDFS简化了文件一致性模

Hadoop快速入门

传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总.但这个思路实现起来,比较复杂,但相对于几年前Intel等硬件公司提出的网格运算等方式,显得更加开放. 你难任你难,哥就是头铁! Tip:实践应用是核心,本文概念为主,有些部分可能会有些晦涩,直接跳过就好(不是特别重要). 本文代码实践在:https://github.com/wanliwang/cayman/tree/mast

Hadoop快速入门01——基本配置

原文地址:https://www.cnblogs.com/mubeier/p/9703022.html

PosttgreSQL快速入门:PostgreSQL的安装和配置

一.在CentOS上安装PostgreSQL数据库 下面我们就以CentOS系统为例,给大家讲解一下PostgreSQL的安装过程. 1.使用yum安装postgresql [[email protected] ~]$ sudo yum install postgresql-server.x86_64 Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Loading mir