Hadoop常用端口

常用端口设置

1.1HDFS端口

参数 描述 默认 配置文件 示例
fs.default.name namenode RPC交互端口 8020 core-site.xml liaozhongmin:8020
dfs.http.address  NameNode web管理端口 50070 hdfs- site.xml liaozhongmin:50070
dfs.datanode.address datanode　控制端口 50010  hdfs -site.xml liaozhongmin:50010
dfs.datanode.ipc.address datanode的RPC服务器地址和端口 50020 hdfs-site.xml liaozhongmin:50020
dfs.datanode.http.address datanode的HTTP服务器和端口 50075 hdfs-site.xml liaozhongmin:50075

1.2MapReduce端口

参数 描述 默认 配置文件 示例
mapred.job.tracker job-tracker交互端口  8021 mapred-site.xml liaozhongmin:8021
mapred.job.tracker.http.address Job tracker的web管理端口 50030 mapred-site.xml liaozhongmin:50030
mapred.task.tracker.http.address task-tracker的HTTP端口 50060 mapred-site.xml liaozhongmin:50060

1.3 其他端口

参数 描述 默认 配置文件 示例
dfs.secondary.http.address secondary NameNode web管理端口 50090 hdfs-site.xml liaozhongmin:50090

注：如果使用主机名时要本机C盘hosts文件中进行配置。

时间： 2025-01-02 00:54:04

Hadoop常用端口的相关文章

Hadoop常用端口和定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问.而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询. 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode

Hadoop 2.x常用端口及查看方法

一.常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服

hadoop 常用配置项【转】

hadoop 常用配置项[转] core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这个,写入dfs.name.dir  fs.checkpoint.period 1800 定

hadoop 常用配置

hadoop 常用配置项——转载: core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这个,写入dfs.name.dir  fs.checkpoint.period 1800

大数据_学习_01_Hadoop 2.x及hbase常用端口及查看方法

二.参考资料 1.Hadoop 2.x常用端口及查看方法 原文地址:https://www.cnblogs.com/shirui/p/8623474.html

hadoop常用api编写

package hsfs常用api; import java.io.ByteArrayInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;

网络常用端口

本人(tab_98)整理,应该是最全的,而且修改了2处错误. TCP/UDP常用端口号******************************************************7        Echo(PING)      9        丢弃      13       Daytimer      19       字符生成器      20 /tcp  FTP数据21 /tcp  FTP控制 文件传输协议 22 /tcp  SSH 安全登录.文件传送(SCP)和端口重定

Hadoop常用shell命令

为了方便自己回顾记忆,将今天实验的hadoop命令总结一下,方便后续查看. 注意,下述命令是在hadoop/bin 下操作的. 1.hadoop fs -ls \    ->查看当前下面的所有目录. 2.hadoop fs -mkdir xxx ->创建xxx文件夹在hadoop文件系统上. 3.hadoop fs -rmr xxx -> 删除在文件系统上面创建的文件夹 4.hadoop fs -put /home/xuzhang/file1 xxx 将文件放入创建的xxx目录中 5.h

WINDOWS常用端口列表

按端口号可分为3大类: (1)公认端口(Well Known Ports):从0到1023,它们紧密绑定(binding)于一些服务.通常这些端口的通讯明确表明了某种服务的协议.例如:80端口实际上总是HTTP通讯. (2)注册端口(Registered Ports):从1024到49151.它们松散地绑定于一些服务.也就是说有许多服务绑定于这些端口,这些端口同样用于许多其它目的.例如:许多系统处理动态端口从1024左右开始. (3)动态和/或私有端口(Dynamic and/or Privat