琐碎-hadoop2.2.0目录结构



之前了解了一下0.20.2和1.1.0。以后现在主流肯定是2.x吧,包含了之前没有的yarn





bin

Hadoop最基本的管理脚本和使用脚本,这些脚本是sbin目录下管理脚本的基础实现,用户可以用这些脚本管理和使用hadoop



etc

hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop2.0新增的文件。.template是模板文件

相当于之前版本的conf目录



include

对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是C++定义的,通常用于C++程序访问HDFS或者编写MR程序



lib

该目录提供了对外编程的静态库和动态库,与include目录下的头文件结合使用

(并不是一些依赖jar包)



libexec

各个服务所对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息



sbin

hadoop管理脚本所在目录,主要包括HDFS和YARN中各类服务的启动/关闭脚本



share

hadoop 各个模块编译后的jar包所在目录

...



hadoop依赖的jar包在哪儿?

答:share目录中



琐碎-hadoop2.2.0目录结构

时间: 2024-11-10 11:31:01

琐碎-hadoop2.2.0目录结构的相关文章

THINKPHP 5.0目录结构

目录结构 下载最新版框架后,解压缩到web目录下面,可以看到初始的目录结构如下: project 应用部署目录 ├─application 应用目录(可设置) │ ├─common 公共模块目录(可更改) │ ├─index 模块目录(可更改) │ │ ├─config.php 模块配置文件 │ │ ├─common.php 模块函数文件 │ │ ├─controller 控制器目录 │ │ ├─model 模型目录 │ │ ├─view 视图目录 │ │ └─ ... 更多类库目录 │ ├─c

琐碎-hadoop2.2.0伪分布式和完全分布式安装(centos6.4)

环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1hqIeBGw 和1.x.0.x有些不同,特别是yarn.

hadoop2.7的目录结构

1.$HADOOP_HOME/bin目录下文件及作用 文件名称 说明 hadoop 用于执行hadoop脚本命令,被hadoop-daemon.sh调用执行,也可以单独执行,一切命令的核心 2.$HADOOP_HOME/sbin目录下文件及作用 文件名称 说明 hadoop-daemon.sh 通过执行hadoop命令来启动/停止一个守护进程(daemon):该命令会被bin目录下面所有以start或stop开头的所有命令调用来执行命令, hadoop-daemons.sh也是通过调用hadoo

ThinkPHP5.0目录结构

project 应用部署目录 ├─application 应用目录(可设置) │ ├─common 公共模块目录(可更改) │ ├─index 模块目录(可更改) │ │ ├─config.php 模块配置文件 │ │ ├─common.php 模块函数文件 │ │ ├─controller 控制器目录 │ │ ├─model 模型目录 │ │ ├─view 视图目录 │ │ └─ ... 更多类库目录 │ ├─command.php 命令行工具配置文件 │ ├─common.php 应用公共(

hadoop2.6.0 + spark1.4.0环境搭建(一)

今天给大家共享一下我的hadoop+spark环境的搭建,需要的软件有: hadoop 2.6.0(官网下载) spark 1.4.0(官网下载,有已经编译好的版本) jdk1.7.0_79 scala-2.10.5 我的测试机环境为两台,IP分别为192.168.0.30,192.168.0.31 一.用户建立及运行环境初始化 首先,在两台机器上建立专属用户 hadoop ,并建立/opt/modules目录,将该目录赋权给hadoop用户,使之具有读写功能.将上面所列的软件上传至module

Could not locate executable E:\SoftWave\Hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries解决办法

需要下载windows版本 bin目录下的文件,替换hadoop目录下原来的bin目录下的文件.下载网址是: https://github.com/srccodes/hadoop-common-2.2.0-bin 另外还需要注意:下载的动态库是64位的,所以必须要在64位windows系统下运行. 把这个文件夹下的bin目录下的文件复制 拷贝到hadoop2.2.0目录下的bin路径下,把一样的文件替换就可以了 这个是拷贝后的结果

Hadoop2.6.0单机模式搭建

1.下载安装jdk 下载jdk1.6.0_39_x64.bin ./jdk1.6.0_39_x64.bin 执行文件 2.配置环境变量 vim /etc/profile 追加: export JAVA_HOME=/root/hadoop/jdk1.6.0_39export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$PATH:$JAVA_HOME/bin 让环境变量生效 source /etc/prof

Ubuntu14.04安装配置Hadoop2.6.0(完全分布式)与 wordcount实例运行

我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html 为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便. 结点信息:(分布式集群架构:master为主节点,其余为从节点) 机器名 IP 作用 master 122.205.135.254

Hadoop新生报到(一) hadoop2.6.0伪分布式配置详解

首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8: 1.准备工作 准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录) 系统环境:IP:192.168.80.99, linux用户: root/123456,hadoop/123456 主机名:node 把防火墙关闭,roo