hadoop系统的端口
hadoop系统部署时用到不少端口。有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080,80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
Daemon | 缺省端口 | 配置参数 | |
HDFS | Namenode | 50070 | dfs.http.address |
Datanodes | 50075 | dfs.datanode.http.address | |
Secondarynamenode | 50090 | dfs.secondary.http.address | |
Backup/Checkpoint node* | 50105 | dfs.backup.http.address | |
MR | Jobracker | 50030 | mapred.job.tracker.http.address |
Tasktrackers | 50060 | mapred.task.tracker.http.address | |
HBase | HMaster | 60010 | hbase.master.info.port |
HRegionServer | 60030 | hbase.regionserver.info.port | |
* hadoop 0.21以后代替secondarynamenode . |
3.内部端口
Daemon | 缺省端口 | 配置参数 | 协议 | 用于 | |
Namenode | 9000 | fs.default.name | IPC: ClientProtocol | Filesystem metadata operations. | |
Datanode | 50010 | dfs.datanode.address | Custom Hadoop Xceiver: DataNodeand DFSClient | DFS data transfer | |
Datanode | 50020 | dfs.datanode.ipc.address | IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol |
Block metadata operations and recovery | |
Backupnode | 50100 | dfs.backup.address | 同 namenode | HDFS Metadata Operations | |
Jobtracker | 9001 | mapred.job.tracker | IPC:JobSubmissionProtocol,InterTrackerProtocol | Job submission, task tracker heartbeats. | |
Tasktracker | 127.0.0.1:0* | mapred.task.tracker.report.address | IPC:TaskUmbilicalProtocol | 和 child job 通信 | |
* 绑定到未用本地端口 |
4.相关产品端口
产品 | 服务 | 缺省端口 | 参数 | 范围 | 协议 | 说明 |
HBase | Master | 60000 | hbase.master.port | External | TCP | IPC |
Master | 60010 | hbase.master.info.port | External | TCP | HTTP | |
RegionServer | 60020 | hbase.regionserver.port | External | TCP | IPC | |
RegionServer | 60030 | hbase.regionserver.info.port | External | TCP | HTTP | |
HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | TCP | HBase-managed ZK mode | ||
HQuorumPeer | 2888 | hbase.zookeeper.peerport | TCP | HBase-managed ZK mode | ||
HQuorumPeer | 3888 | hbase.zookeeper.leaderport | TCP | HBase-managed ZK mode | ||
REST Service | 8080 | hbase.rest.port | External | TCP | ||
ThriftServer | 9090 | Pass -p <port> on CLI | External | TCP | ||
Avro server | 9090 | Pass –port <port> on CLI | External | TCP | ||
Hive | Metastore | 9083 | External | TCP | ||
HiveServer | 10000 | External | TCP | |||
Sqoop | Metastore | 16000 | sqoop.metastore.server.port | External | TCP | |
ZooKeeper | Server | 2181 | clientPort | External | TCP | Client port |
Server | 2888 | X in server.N=host:X:Y | Internal | TCP | Peer | |
Server | 3888 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
Server | 3181 | X in server.N=host:X:Y | Internal | TCP | Peer | |
Server | 4181 | Y in server.N=host:X:Y | Internal | TCP | Peer | |
Hue | Server | 8888 | External | TCP | ||
Beeswax Server | 8002 | Internal | ||||
Beeswax Metastore | 8003 | Internal | ||||
Oozie | Oozie Server | 11000 | OOZIE_HTTP_PORT in oozie-env.sh | External | TCP | HTTP |
Oozie Server | 11001 | OOZIE_ADMIN_PORT in oozie-env.sh | localhost | TCP | Shutdown port |
5.YARN(Hadoop 2.0)缺省端口
产品 | 服务 | 缺省端口 | 配置参数 | 协议 |
Hadoop YARN | ResourceManager | 8032 | yarn.resourcemanager.address | TCP |
ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | TCP | |
ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | TCP | |
ResourceManager | 8033 | yarn.resourcemanager.admin.address | TCP | |
ResourceManager | 8088 | yarn.resourcemanager.webapp.address | TCP | |
NodeManager | 8040 | yarn.nodemanager.localizer.address | TCP | |
NodeManager | 8042 | yarn.nodemanager.webapp.address | TCP | |
NodeManager | 8041 | yarn.nodemanager.address | TCP | |
MapReduce JobHistory Server | 10020 | mapreduce.jobhistory.address | TCP | |
MapReduce JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | TCP |
6.第三方产品端口
ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议,相应软件由麻省理工开发。
产品 | 服务 | 安全 | 缺省端口 | 协议 | 访问 | 配置 |
Ganglia | ganglia-gmond | 8649 | UDP/TCP | Internal | ||
ganglia-web | 80 | TCP | External | 通过 Apache httpd | ||
Kerberos | KRB5 KDC Server | Secure | 88 | UDP*/TCP | External | [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports |
KRB5 Admin Server | Secure | 749 | TCP | Internal | Kdc.conf 文件:[realms]段kadmind_port |
hadoop系统的端口的更多相关文章
- hadoop 相关工具访问端口(转)
原文:http://www.tuicool.com/articles/BB3eArJ hadoop系统部署时用到不少端口.有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的.实际系 ...
- windows系统常见端口和木马默认使用端口
dos命令netstat比较好用,能比较全的看到自己开放的端口及状态一般我用netstat -a端口:0服务:Reserved说明:通常用于分析操作系统.这一方法能够工作是因为在一些系统中“0”是无效 ...
- Hadoop系统架构
一.Hadoop系统架构图 Hadoop1.0与hadoop2.0架构对比图 YARN架构: ResourceManager –处理客户端请求 –启动/监控ApplicationMaster –监控N ...
- 大神教你如何解决Linux系统80端口被占用
有Linux在centos下面安装webmail服务遇到80端口被占用的问题,导致无法继续安装,下面详细介绍下Linux如何查看.查找.关闭监听80端口服务以更好的的解决80端口被占用的问题. 一.查 ...
- 解决Linux系统80端口被占用的问题
有Linux在centos下面安装webmail服务遇到80端口被占用的问题,导致无法继续安装,下面详细介绍下Linux如何查看.查找.关闭监听80端口服务以更好的的解决80端口被占用的问题. 一.查 ...
- win10系统80端口被占用怎么办?
win10系统80端口被占用怎么办? 因为win10默认开启了IIS因此占用了80端口,可以netstat –ano 查到. 运行netstat -aon | findstr :80 ,发现pid是4 ...
- SQL on Hadoop系统的最新进展(1)
转自:http://blog.jobbole.com/47892/ 为什么非要把SQL放到Hadoop上? SQL易于使用.那为什么非得基于Hadoop呢?the robust and scalabl ...
- 安装单机Hadoop系统(完整版)——Mac
在这个阴雨绵绵的下午,没有睡午觉的我带着一双惺忪的眼睛坐在了电脑前,泡上清茶,摸摸已是略显油光的额头(笑cry),,奋斗啊啊啊啊!!%>_<% 1.课程回顾. 1.1 Hadoop系统运行 ...
- linux系统telnet端口不通能收到SYN但不回SYN+ACK响应问题排查(转载)
linux系统telnet端口不通能收到SYN但不回SYN+ACK响应问题排查 一:背景:一台机器从公司办公网登录不上且所有tcp端口都telnet不通,但是通过同机房同的其它机器却可以正常访问到出问 ...
随机推荐
- Efficient data transfer through zero copy
Efficient data transfer through zero copy https://www.ibm.com/developerworks/library/j-zerocopy/ Eff ...
- linux mint19.1解决网易云音乐安装后打不开的问题
安装网易云音乐: sudo dpkg -i 文件路径#文件路径可以直接把刚才下载的软件包拖进终端sudo apt install -f 修复依赖关系 安装后打不开的问题: 1.sudo gedit / ...
- artTemplate模板使用补充
1. 添加辅助方法 ``template.helper(name, callback)``辅助方法一般用来进行字符串替换,如 UBB 替换.脏话替换等. 例如扩展一个UBB替换方法: template ...
- LInux下桥接模式详解三
上篇文章介绍了Linux内核桥接模式涉及到的几个结构,本节就重点放在数据包的处理上! 本节所有代码参考LInux 3.10.1内核! 前面已经提到一个数据包从网卡流到Linux内核中的L2层,最终被交 ...
- 在django中实现支付宝支付(支付宝接口调用)
支付宝支付 正式环境:用营业执照,申请商户号,appid 测试环境:沙箱环境:https://openhome.alipay.com/platform/appDaily.htm?tab=info 支付 ...
- Navicat工具、pymysql模块、数据备份
IDE工具介绍(Navicat) 生产环境还是推荐使用mysql命令行,但为了方便我们测试,可以使用IDE工具,我们使用Navicat工具,这个工具本质上就是一个socket客户端,可视化的连接mys ...
- shell_02
if判断: if [$? -eq 0];then echo "xxxxxxxxxxx" else echo "xxxxxxxxxxxxx" fi case判断: ...
- Linux chmod命令
chmod用于管理文件或目录的权限,文件或目录权限的控制分别以读取(r).写入(w).执行(x)3种 可读可写可执行,抽象的用二进制来表示 1 代表拥有该权限,0 代表没有该权限,这样我们就可以看到 ...
- 生信-RPKM与FPKM学习[转载]
转自:https://baike.baidu.com/item/RPKM/1197657 均反应基因的表达水平 1.RPKM的计算公式 分母是总共比对到这个基因的reads的数目(条 为单位),分母是 ...
- mysqldump 参数
mysqldump是mysql用于转存储数据库的实用程序.它主要产生一个SQL脚本,其中包含从头重新创建数据库所必需的命令CREATE TABLE INSERT等.对于导出的文件,可使用SOURCE命 ...