版权声明:本文为博主John Lau原创文章。未经博主同意不得转载 https://blog.csdn.net/GreatElite/article/details/24651569

     1 HDFS服务中,默认端口集合:

 1. HDFS 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

NameNode WebUI

Master Nodes (NameNode and any back-up NameNodes) 50070 http Web UI to look at current status of HDFS, explore file system Yes (Typically admins, Dev/Support teams) dfs.http.address
50470 https Secure http service dfs.https.address

NameNode metadata service

Master Nodes (NameNode and any back-up NameNodes) 8020/9000 IPC

File system metadata operations

Yes (All clients who directly need to interact with the HDFS) Embedded in URI specified by fs.default.name

DataNode

All Slave Nodes

50075

http

DataNode WebUI to access the status, logs etc.

Yes (Typically admins, Dev/Support teams) dfs.datanode.http.address

50475

https

Secure http service

dfs.datanode.https.address

50010

 

Data transfer

  dfs.datanode.address

50020

IPC

Metadata operations

No dfs.datanode.ipc.address
Secondary NameNode Secondary NameNode and any backup Secondanry NameNode

50090

http

Checkpoint for NameNode metadata

No dfs.secondary.http.address

    2 MapReduce端口

     

2. MapReduce 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

JobTracker  WebUI

Master Nodes (JobTracker Node and any back-up Job­Tracker node ) 50030 http Web UI for JobTracker Yes mapred.job.tracker.http.address

JobTracker

Master Nodes (JobTracker Node) 8021 IPC

For job submissions

Yes (All clients who need to submit the MapReduce jobs  including Hive, Hive server, Pig) Embedded in URI specified bymapred.job.tracker

Task­Tracker Web UI and Shuffle

All Slave Nodes

50060

http DataNode Web UI to access status, logs, etc. Yes (Typically admins, Dev/Support teams) mapred.task.tracker.http.address
History Server WebUI   51111 http Web UI for Job History Yes mapreduce.history.server.http.address

   3 Hive 端口

3. Hive 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters

Hive Server2

Hive Server machine (Usually a utility machine) 10000 thrift Service for programatically (Thrift/JDBC) connecting to Hive Yes (Clients who need to connect to Hive either programatically or through UI SQL tools that use JDBC) ENV Variable HIVE_PORT

Hive Metastore

  9083 thrift Yes (Clients that run Hive, Pig and potentially M/R jobs that use HCatalog) hive.metastore.uris

      4 HBase端口

4. HBase 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters

HMaster

Master Nodes (HBase Master Node and any back-up HBase Master node) 60000     Yes hbase.master.port

HMaster Info Web UI

Master Nodes (HBase master Node and back up HBase Master node if any) 60010 http The port for the HBase­Master web UI. Set to -1 if you do not want the info server to run. Yes hbase.master.info.port

Region Server

All Slave Nodes 60020     Yes (Typically admins, dev/support teams) hbase.regionserver.port

Region Server

All Slave Nodes 60030 http   Yes (Typically admins, dev/support teams) hbase.regionserver.info.port
  All ZooKeeper Nodes 2888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.
No hbase.zookeeper.peerport
  All ZooKeeper Nodes 3888   Port used by ZooKeeper peers to talk to each other.Seehere for
more information.
  hbase.zookeeper.leaderport
    2181   Property from ZooKeeper's config zoo.cfg. The port at which the clients will connect.   hbase.zookeeper.property.clientPort

        5 WebHCat 端口

 5 WebHCat 端口
Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters

WebHCat Server

Any utility machine 50111 http Web API on top of HCatalog and other Hadoop services Yes templeton.port

         6 监控ganglia端口

6. Ganglia 端口
Service Servers Default Ports Used Protocol Description Need End User Access?

Configuration Parameters
  Ganglia server 8660/61/62/63   For gmond collectors    
  All Slave Nodes 8660   For gmond agents    
  Ganglia server 8651   For ganglia gmetad  

   

欢迎增加微信公众号

hadoop生态系统默认port集合的更多相关文章

  1. Hadoop生态系统如何选择搭建

    Apache Hadoop项目的目前版本(2.0版)含有以下模块: Hadoop通用模块:支持其他Hadoop模块的通用工具集. Hadoop分布式文件系统(HDFS):支持对应用数据高吞吐量访问的分 ...

  2. hadoop生态系统的详细介绍

    1.Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架.具有可靠.高效.可伸缩的特点. Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括YAR ...

  3. Apache Kudu: Hadoop生态系统的新成员实现对快速数据的快速分析

    A new addition to the open source Apache Hadoop ecosystem, Apache Kudu completes Hadoop's storage la ...

  4. 如何修改Hadoop的默认日志级别,还真是麻烦

    鄙人使用的Hadoop版本为2.6.4.Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响. 我们可以通过http://& ...

  5. Hadoop概念学习系列之Hadoop 生态系统(十二)

    当下 Hadoop 已经成长为一个庞大的生态体系,只要和海量数据相关的领域,都有 Hadoop 的身影.下图是一个 Hadoop 生态系统的图谱,详细列举了在 Hadoop 这个生态系统中出现的各种数 ...

  6. Hadoop 生态系统

    1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归 ...

  7. 从问题域出发认识Hadoop生态系统

    近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展.尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效 ...

  8. 改动Apach默认port

    一.改动Apache的默认port号 在WEB SERVER界,无论是微软的IIS还是世界排名第一的Apache,它们安装好后默认的网页服务port号都是80.有必要指出的是,假设你的电脑中已经安装有 ...

  9. 一步一步学习大数据:Hadoop 生态系统与场景

    Hadoop概要 到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议. 随着互联网以及物联网的蓬勃发展,我们进入了大数据时代.IDC预测,到2020年,全球会有 ...

随机推荐

  1. SPSS分析技术:CMH检验(分层卡方检验);辛普森悖论,数据分析的谬误

    SPSS分析技术:CMH检验(分层卡方检验):辛普森悖论,数据分析的谬误 只涉及两个分类变量的卡方检验有些时候是很局限的,因为混杂因素总是存在,如果不考虑混杂因素,得出的分析结论很可能是谬误的,这就是 ...

  2. 开源代码分析-react-native-eyepetizer

    目录结构: app----imgs --- pages ------ home ------ explore ------ follow ------ profile ------  selected ...

  3. JSP四大域对象与九大内置对象

    什么是内置对象? 在jsp开发中会频繁使用到一些对象,如 ServletContext.HttpSession.PageContext 等: 如果每次我们在jsp页面中需要使用这些对象都要自己亲自动手 ...

  4. 在VS中编译Opencascade6.6.0

    话说,OpenCASCADE团队真的很给力,版本更新速度也是嗖嗖地.依稀记得上次编译OCC,那时候的第三方库.OCC本身几何引擎库,全都得自己编译. 于是,编译过程之艰苦也就可想而知了.最近重换系统, ...

  5. C#多线程之间事件通知

    我有两个线程,线程1接受网络数据,存到队列;线程2取队列,进行各种复杂的处理然后绘制到界面上;想让线程1有数据了通知线程2,线程2再取队列,因为不通知的话,线程2一直在while循环检索队列时候有东西 ...

  6. 读书笔记--Head First PMP目录

    1.引言 2.阻止.约束和项目 3.过程框架 4.项目整合管理 5.范围管理 6.时间管理 7.成本管理 8.质量管理 9.人力资源管理 10.沟通管理 11.项目风险管理 12.采购管理 13.职业 ...

  7. ORACLE时间常用函数(字段取年、月、日、季度)

    TO_DATE格式 Day: dd number 12 dy abbreviated fri day spelled out friday ddspth spelled out, ordinal tw ...

  8. .net4.6版本前设置window子窗口位置主窗口闪烁

    在安装了.net4.6的版本是不会出现该问题的,但是在4.6以下的版本会出现,当设置之窗体的left和top属性时,会让主窗体闪烁一下. 之前是在load事件下写的: child_window.loa ...

  9. XML之基础和DTD解析

    本笔记可根据W3school教程学习: 首先-----了解XML文档结构.语法规范.作用 -----了解DTD约束的作用.具体约束语法 <?xml version="1.0" ...

  10. Flask中的session机制

    cookie和sessioncookie:网站中,http请求是无状态的,第一次和服务器连接后并且登陆成功后,第二次请求服务器依然不能知道当前请求是哪个用户.cookie的出现就是解决了改问题,第一次 ...