hadoop 相关工具访问端口（转）
原文：http://www.tuicool.com/articles/BB3eArJ
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address | IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_port |
* 缺省
UDP
协议
7.参考
https://ccp.cloudera.com/display/CDH4DOC/Configuring+Ports+for+CDH4
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
| Daemon | 缺省端口 | 配置参数 | |
| HDFS | Namenode | 50070 | dfs.http.address |
| Datanodes | 50075 | dfs.datanode.http.address | |
| Secondarynamenode | 50090 | dfs.secondary.http.address | |
| Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
| MR | Jobracker | 50030 | mapred.job.tracker.http.address |
| Tasktrackers | 50060 | mapred.task.tracker.http.address | |
| HBase | HMaster | 60010 | hbase.master.info.port |
| HRegionServer | 60030 | hbase.regionserver.info.port | |
| * hadoop 0.21以后代替secondarynamenode . | |||
3.内部端口
| Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
| Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
| Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
| Datanode | 50020 | dfs.datanode.ipc.address |
IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
| Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
| Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
| Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
| * 绑定到未用本地端口 | |||||
4.相关产品端口
| 产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
| HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
| Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
| RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
| RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
| HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
| HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
| REST Service | 8080 | hbase.rest.port | External | TCP | ||
| ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
| Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
| Hive | Metastore | 9083 | External | TCP | ||
| HiveServer | 10000 | External | TCP | |||
| Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
| ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
| Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
| Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
| Hue | Server | 8888 | External | TCP | ||
| Beeswax Server | 8002 | Internal | ||||
| Beeswax Metastore | 8003 | Internal | ||||
| Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
| Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
| 产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
| Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
| ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
| ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
| ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
| ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
| NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
| NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
| NodeManager | 8041 | yarn.nodemanager.address | TCP | |
| MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
| MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。
| 产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
| Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
| ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
| Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
| KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件：[realms]段kadmind_ |
hadoop 相关工具访问端口（转）的更多相关文章
- Hadoop服务的端口50070无法访问的问题
Hadoop启动之后,遇到一个奇怪的问题: VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070.localhost:50070.主机名:5007 ...
- aix7安装was7、打补丁、更改访问端口、手动启动was、配置was7、部署项目
1:准备工作 首先了解下我们下面即将用到的aix命令,以及安装包.补丁安装工具.补丁 was7的安装包以及补丁工具都是压缩包形式并且以.tar.gz结尾的 安装包在800MB左右,通常为****_w ...
- CentOS6.5 配置防火墙+允许指定ip访问端口
参考博文: iptables防火墙只允许指定ip连接指定端口.访问指定网站 一.配置防火墙 打开配置文件 [root@localhost ~]# vi /etc/sysconfig/iptables ...
- Linux 修改zabbix server的web访问端口
在安装zabbix server的时候默认就安装了apache,zabbix依靠apache提供的web服务,修改Zabbix的浏览器访问端口,就是修改apache的服务端口(默认端口:80) 1.编 ...
- 大数据实操2 - hadoop集群访问——Hadoop客户端访问、Java API访问
上一篇中介绍了hadoop集群搭建方式,本文介绍集群的访问.集群的访问方式有两种:hadoop客户端访问,Java API访问. 一.集群客户端访问 Hadoop采用C/S架构,可以通过客户端对集群进 ...
- tomcat访问端口
问题描述:今天,访问服务器上的应用,tomcat服务器已经启动,确怎么都打不开:问题原因:原来有人改了端口.具体操作:进入tomcat的安装目录,进入conf文件夹下,找到server.xml文件.用 ...
- .net core获取服务器本地IP及Request访问端口
string str = (Request.HttpContext.Connection.LocalIpAddress.MapToIPv4().ToString() + ":" + ...
- windows server 2012 r2 8080外网访问端口发布设置
windowser server 2012 r2 8080外网访问端口发布设置,在配置服务器时候,8080端口作为默认的web访问的端口,那么如何配置呢如下步骤: 工具/原料 windowser se ...
- Linux对外提供服务 网络操作 端口操作 1.开启服务监听端口 2.设置防火墙，放行访问端口的包 iptables&netfilter 四表五链和通堵策略
主题: Linux服务器上软件提供服务 1.网络操作 2.端口操作 1.网络操作 本机必须能够ping通目标主机(本地虚拟机或者远程主机) 2.端口操作 1.开启服务监听端口 2.设置防火墙,放行访问 ...
随机推荐
- 【MFC】Tab Control 控件的使用（转）
原文转自 http://blog.csdn.net/hustspy1990/article/details/5425365 1.先建立一个对话框MFC应用程序,然后在工具箱里面把Tab Control ...
- linux内核情景分析之锁机制
/* * These are the generic versions of the spinlocks and read-write * locks.. *///自旋锁加锁,irqsave表示把标志 ...
- mysql中PDO参数化引号引起的Warning: PDOStatement::execute(): SQLSTATE[HY093]:报错
sql语句之前是这样写的:INSERT INTO tablename SET a = ':a',b = ':b',c = ':c',d = :d,e = :e $data = array ( [':a ...
- 解决 Mac OS X 下 IntelliJ IDEA、jEdit 等 Java 程序中文标点输入无效的方法
Mac OS X 下基于 Java 的程序(如 IntelliJ IDEA.jEdit 等)会出现中文标点输入无效的问题,在中文输入法状态,可以输入中文字,但输入中文标点最后上去的是英文标点.查阅了相 ...
- Write a function that generates one of 3 numbers according to given probabilities
You are given a function rand(a, b) which generates equiprobable random numbers between [a, b] inclu ...
- DataSnap——利用TParams进行多表事务更新
DataSnap——利用TParams进行多表事务更新 服务端: function TSVRDM.multUpdatesByPar(UpdateParam: TParams; out ErrMsg: ...
- [笔记]Android 源码编译
问题: 解决方法: 下载地址ftp://ftp.gnu.org/gnu/make/make3.8.2的安装步骤:tar -zxvf make3.8.2.tar.gz在make-3.8.2目录下./co ...
- Android 进度条对话框ProgressDialog
<?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android=&quo ...
- linux yum 安装软件
概括了部分常用的yum命令包括: 自动搜索最快镜像插件:yum install yum-fastestmirror安装yum图形窗口插件:yum install yumex 1 安装yum insta ...
- MFC中 获取新输入编辑框的内容
//得到原始内容的长度 int len = m_editPoemFileStr.GetLength(); UpdateData(true); //得到新增加的内容 CString sNewStrin ...