hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080,80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon 缺省端口 配置参数
HDFS Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node* 50105 dfs.backup.http.address
MR Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
HBase HMaster 60010 hbase.master.info.port
HRegionServer 60030 hbase.regionserver.info.port
* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon 缺省端口 配置参数 协议 用于
Namenode 9000 fs.default.name IPC: ClientProtocol Filesystem metadata operations.
Datanode 50010 dfs.datanode.address Custom Hadoop Xceiver: DataNodeand DFSClient DFS data transfer
Datanode 50020 dfs.datanode.ipc.address IPC:InterDatanodeProtocol,ClientDatanodeProtocol 
ClientProtocol
Block metadata operations and recovery
Backupnode 50100 dfs.backup.address 同 namenode HDFS Metadata Operations
Jobtracker 9001 mapred.job.tracker IPC:JobSubmissionProtocol,InterTrackerProtocol Job submission, task tracker heartbeats.
Tasktracker 127.0.0.1:0* mapred.task.tracker.report.address IPC:TaskUmbilicalProtocol 和 child job 通信
* 绑定到未用本地端口

4.相关产品端口

产品 服务 缺省端口 参数 范围 协议 说明
HBase  Master 60000 hbase.master.port External TCP IPC
Master 60010 hbase.master.info.port External TCP HTTP
RegionServer 60020 hbase.regionserver.port External TCP IPC
RegionServer 60030 hbase.regionserver.info.port External TCP HTTP
HQuorumPeer 2181 hbase.zookeeper.property.clientPort TCP HBase-managed ZK mode
HQuorumPeer 2888 hbase.zookeeper.peerport TCP HBase-managed ZK mode
HQuorumPeer 3888 hbase.zookeeper.leaderport TCP HBase-managed ZK mode
REST Service 8080 hbase.rest.port External TCP
ThriftServer 9090 Pass -p <port> on CLI External TCP
 Avro server 9090 Pass –port <port> on CLI External TCP
Hive Metastore 9083 External TCP
HiveServer 10000 External TCP
Sqoop Metastore 16000 sqoop.metastore.server.port External TCP
ZooKeeper  Server 2181 clientPort External TCP Client port
Server 2888 X in server.N=host:X:Y Internal TCP Peer
Server 3888 Y in server.N=host:X:Y Internal TCP Peer
Server 3181 X in server.N=host:X:Y Internal TCP Peer
Server 4181 Y in server.N=host:X:Y Internal TCP Peer
Hue  Server 8888 External TCP
Beeswax Server 8002 Internal
Beeswax Metastore 8003 Internal
Oozie Oozie Server 11000 OOZIE_HTTP_PORT in oozie-env.sh External TCP HTTP
Oozie Server 11001 OOZIE_ADMIN_PORT in oozie-env.sh localhost TCP Shutdown port

5.YARN(Hadoop 2.0)缺省端口

产品 服务 缺省端口 配置参数 协议
Hadoop YARN  ResourceManager 8032 yarn.resourcemanager.address TCP
ResourceManager 8030 yarn.resourcemanager.scheduler.address TCP
ResourceManager 8031 yarn.resourcemanager.resource-tracker.address TCP
ResourceManager 8033 yarn.resourcemanager.admin.address TCP
ResourceManager 8088 yarn.resourcemanager.webapp.address TCP
NodeManager 8040 yarn.nodemanager.localizer.address TCP
NodeManager 8042 yarn.nodemanager.webapp.address TCP
NodeManager 8041 yarn.nodemanager.address TCP
MapReduce JobHistory Server 10020 mapreduce.jobhistory.address TCP
MapReduce JobHistory Server 19888 mapreduce.jobhistory.webapp.address TCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议,相应软件由麻省理工开发。

产品 服务 安全 缺省端口 协议 访问 配置
Ganglia ganglia-gmond 8649 UDP/TCP Internal
ganglia-web 80 TCP External 通过 Apache httpd
Kerberos KRB5 KDC Server Secure 88 UDP*/TCP External [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
KRB5 Admin Server Secure 749 TCP Internal  Kdc.conf 文件:[realms]段kadmind_port

hadoop系统的端口的更多相关文章

  1. hadoop 相关工具访问端口(转)

    原文:http://www.tuicool.com/articles/BB3eArJ hadoop系统部署时用到不少端口.有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的.实际系 ...

  2. windows系统常见端口和木马默认使用端口

    dos命令netstat比较好用,能比较全的看到自己开放的端口及状态一般我用netstat -a端口:0服务:Reserved说明:通常用于分析操作系统.这一方法能够工作是因为在一些系统中“0”是无效 ...

  3. Hadoop系统架构

    一.Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: ResourceManager –处理客户端请求 –启动/监控ApplicationMaster –监控N ...

  4. 大神教你如何解决Linux系统80端口被占用

    有Linux在centos下面安装webmail服务遇到80端口被占用的问题,导致无法继续安装,下面详细介绍下Linux如何查看.查找.关闭监听80端口服务以更好的的解决80端口被占用的问题. 一.查 ...

  5. 解决Linux系统80端口被占用的问题

    有Linux在centos下面安装webmail服务遇到80端口被占用的问题,导致无法继续安装,下面详细介绍下Linux如何查看.查找.关闭监听80端口服务以更好的的解决80端口被占用的问题. 一.查 ...

  6. win10系统80端口被占用怎么办?

    win10系统80端口被占用怎么办? 因为win10默认开启了IIS因此占用了80端口,可以netstat –ano 查到. 运行netstat -aon | findstr :80 ,发现pid是4 ...

  7. SQL on Hadoop系统的最新进展(1)

    转自:http://blog.jobbole.com/47892/ 为什么非要把SQL放到Hadoop上? SQL易于使用.那为什么非得基于Hadoop呢?the robust and scalabl ...

  8. 安装单机Hadoop系统(完整版)——Mac

    在这个阴雨绵绵的下午,没有睡午觉的我带着一双惺忪的眼睛坐在了电脑前,泡上清茶,摸摸已是略显油光的额头(笑cry),,奋斗啊啊啊啊!!%>_<% 1.课程回顾. 1.1 Hadoop系统运行 ...

  9. linux系统telnet端口不通能收到SYN但不回SYN+ACK响应问题排查(转载)

    linux系统telnet端口不通能收到SYN但不回SYN+ACK响应问题排查 一:背景:一台机器从公司办公网登录不上且所有tcp端口都telnet不通,但是通过同机房同的其它机器却可以正常访问到出问 ...

随机推荐

  1. 转载(web app变革之rem)

    rem这是个低调的css单位,近一两年开始崭露头角,有许多同学对rem的评价不一,有的在尝试使用,有的在使用过程中遇到坑就弃用了.但是我对rem综合评价是用来做web app它绝对是最合适的人选之一. ...

  2. vue中获取客户端IP地址(不需要额外引入三方文件)

    之前看了几种方法 ,都是引入腾讯,新浪,搜狐等的三方js文件来查询IP地址,但是我自己测试的时候IP地址不准确,所以就找了找,发现了这个方法,准确的获取到了IP地址和cmd的ipconfig获取到的I ...

  3. Spring的IOC底层实现

    IOC的底层实现 续图:

  4. maya布料预设解析

    今天做了一天布料.数值都是自己在那调整.结果发现maya自带预设,基本有些都不用调整,直接预设,效果非常不错.累死累活半天. 下来看看  预设 解析吧 ncloth新布料系统是 Maya 8.0 后新 ...

  5. 用tophat和cufflinks分析RNAseq数据[转载]

    转自:http://blog.sciencenet.cn/home.php?mod=space&uid=635619&do=blog&id=884213 //今天看到一篇非常好 ...

  6. yii2引入js和css

    assets/AppAsset.php public $css = [ 'css/site.css', 'css/font/css/font-awesome.min.css', 'css/doc.cs ...

  7. docker——容器(container)

    容器相关命令一览表: docker create docker run docker start/stop/restart docker attach/exec docker rm docker ex ...

  8. Embedding SQLite in a c programm

    Embedding SQLite in a c programm        The following program demonstrates how to embed SQLite into ...

  9. Mac使用操作

    快捷键退出程序:Command + Q 快捷键关闭窗口:Command + W(关闭程序的窗口不一定是退出程序) 单击左上角黑苹果,菜单里面有强制退出 Finder菜单的偏好设置,高级设置菜单里面可以 ...

  10. CCF 炉石传说(模拟)

    试题编号: 201612-3 试题名称: 炉石传说 时间限制: 1.0s 内存限制: 256.0MB 问题描述 <炉石传说:魔兽英雄传>(Hearthstone: Heroes of Wa ...