hadoop生态系统默认端口集合

1 HDFS服务中，默认端口集合：

 1. HDFS 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

NameNode WebUI

 Master Nodes (NameNode and any back-up NameNodes) 50070 http Web UI to look at current status of HDFS, explore file system Yes (Typically admins, Dev/Support teams) dfs.http.address
50470 https Secure http service dfs.https.address

NameNode metadata service

 Master Nodes (NameNode and any back-up NameNodes) 8020/9000 IPC
File system metadata operations

 Yes (All clients who directly need to interact with the HDFS) Embedded in URI specified by fs.default.name

DataNode

 All Slave Nodes
50075

 http
DataNode WebUI to access the status, logs etc.

 Yes (Typically admins, Dev/Support teams) dfs.datanode.http.address

50475

 https
Secure http service

 dfs.datanode.https.address

50010

  
Data transfer

   dfs.datanode.address

50020

 IPC
Metadata operations

 No dfs.datanode.ipc.address
Secondary NameNode Secondary NameNode and any backup Secondanry NameNode
50090

 http
Checkpoint for NameNode metadata

 No dfs.secondary.http.address

2 MapReduce端口

2. MapReduce 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

JobTracker  WebUI

 Master Nodes (JobTracker Node and any back-up Job-Tracker node ) 50030 http Web UI for JobTracker Yes mapred.job.tracker.http.address

JobTracker

 Master Nodes (JobTracker Node) 8021 IPC
For job submissions

 Yes (All clients who need to submit the MapReduce jobs  including Hive, Hive server, Pig) Embedded in URI specified bymapred.job.tracker

Task-Tracker Web UI and Shuffle

 All Slave Nodes
50060

 http DataNode Web UI to access status, logs, etc. Yes (Typically admins, Dev/Support teams) mapred.task.tracker.http.address
History Server WebUI   51111 http Web UI for Job History Yes mapreduce.history.server.http.address

3 Hive 端口

3. Hive 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

Hive Server2

 Hive Server machine (Usually a utility machine) 10000 thrift Service for programatically (Thrift/JDBC) connecting to Hive Yes (Clients who need to connect to Hive either programatically or through UI SQL tools that use JDBC) ENV Variable HIVE_PORT

Hive Metastore

   9083 thrift Yes (Clients that run Hive, Pig and potentially M/R jobs that use HCatalog) hive.metastore.uris

4 HBase端口

4. HBase 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

HMaster

 Master Nodes (HBase Master Node and any back-up HBase Master node) 60000     Yes hbase.master.port

HMaster Info Web UI

 Master Nodes (HBase master Node and back up HBase Master node if any) 60010 http The port for the HBase-Master web UI. Set to -1 if you do not want the info server to run. Yes hbase.master.info.port

Region Server

 All Slave Nodes 60020     Yes (Typically admins, dev/support teams) hbase.regionserver.port

Region Server

 All Slave Nodes 60030 http   Yes (Typically admins, dev/support teams) hbase.regionserver.info.port
  All ZooKeeper Nodes 2888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.		 No hbase.zookeeper.peerport
  All ZooKeeper Nodes 3888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.		   hbase.zookeeper.leaderport
    2181   Property from ZooKeeper‘s config zoo.cfg. The port at which the clients will connect.   hbase.zookeeper.property.clientPort

5 WebHCat 端口

 5 WebHCat 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

WebHCat Server

 Any utility machine 50111 http Web API on top of HCatalog and other Hadoop services Yes templeton.port

6 监控ganglia端口

 6. Ganglia 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters
  Ganglia server 8660/61/62/63   For gmond collectors    
  All Slave Nodes 8660   For gmond agents    
  Ganglia server 8651   For ganglia gmetad  

hadoop生态系统默认端口集合,码迷,mamicode.com

时间： 2024-09-28 11:39:49

hadoop生态系统默认端口集合的相关文章

Hadoop, HBase, Hive, ZooKeeper默认端口说明

组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输     50075 dfs.datanode.http.address http服务的端口     50475 dfs.datanode.https.address https服务的端口     50020 dfs.datanode.ipc.address ipc服务的端口   NameNode 50070 dfs.namenode.ht

比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能:Apache Avro,Apache Parquet,Apache HBase和Apache Kudu空间效率,提取性能,分析扫描以及随机数据查找等领域.这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力. 引言 最初把Hadoop文件格式和存储引擎做比较的想法是在初始系统修订版之一的驱动下完成的 --这个系统是在CERN中大规模调节Hadoop-ATLAS EventInd

hadoop生态系统的详细介绍

1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YARN. 下图为hadoop的生态系统: 2.HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版. 是Hadoop体系中数据存储管理的基础.它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行.HDFS简化了文件的

『转载』hadoop2.x常用端口、定义方法及默认端口

1.问题导读 DataNode的http服务的端口.ipc服务的端口分别是哪个? NameNode的http服务的端口.ipc服务的端口分别是哪个? journalnode的http服务的端口.ipc服务的端口分别是哪个? ResourceManager的http服务端口是哪个? NodeManager的http服务端口是哪个? Master的http服务的端口.ipc服务的端口分别是哪个? 3888是谁的端口,用来做什么? Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间

Hadoop生态系统如何选择搭建

Apache Hadoop项目的目前版本(2.0版)含有以下模块: Hadoop通用模块:支持其他Hadoop模块的通用工具集. Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分布式文件系统. Hadoop YARN:用于作业调度和集群资源管理的框架. Hadoop MapReduce:基于YARN的大数据并行处理系统. --在本地系统上独立安装Apache Hadoop是非常容易的(只需解压缩并设置某些环境变量,然后就可以开始使用了),但是这只合适于入门和做一些基本的教程

原生hadoop生态系统组件安装文档

CDP组件部署文档 0000-安装包的下载 1- 操作系统centos7  (版本7.2.x) (1)下载地址 https://www.centos.org/download/ (2)进入之后按需选择DVD ISO (3)国内下载链接如下(稳定最新版) 2-JDK (版本1.8.144) 下载地址       http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 3- hadoop 

学习Hadoop生态系统最值得一读的书籍

学习大数据的处理,有必要读一下有关大数据的书籍.这里,我列举了几本书,仅供参考. 1 ZooKeeper: Distributed Process Coordination 这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们.如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解决Zookeeper问题的能力.这本书里,鼓励读者查阅Zookeeper的源码,并给予有价值的反馈. 2 Apache Sqoop Coo

RHEL7.0修改SSH默认端口及SELinux运行状态修改

Linux系统安装好后,默认会开启SSH服务以便远程配置.但使用默认端口22不安全,一般不建议使用默认端口,那就需要修改SSH默认端口.在RHEL7.0上修改和7.0以下类似,但要注意SELinux的修改. SSH 为 Secure Shell,由IETF的网络工作小组(Network Working Group)所制定:SSH 是建立在应用层和传输层基础上的一种安全协议.SSH传输数据是加密的,可以有效防止传输过程被截取数据保障安全.SSH的数据是经过压缩的,所以可以加快传输的速度. 修改步骤

Hadoop生态系统

摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识. 关键词:Hadoop  HDFS  MapReduce   HBase  Hive  Pig Hadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目. 一幅Hadoop生态图,让我想到了两个问题. 问题一:Hadoop生态系统包括哪些成员?每个成员各自扮演什么样的角色? 问题二:从系统论的角度来观察,Hadoop生态系统为我们破解大数据问题可