组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 HD…

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问.而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询. 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode…

转载于:https://www.cnblogs.com/liying123/p/7097806.html hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问.而随着hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询.这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 df…

一.背景介绍 在接触过大数据相关项目的时候常常都会听到Hadoop这个东西,简单来说,他是一个用分布式计算来处理大数据的开源软件,下面包含了许多的组件和子项目,这篇文章将会介绍Hadoop的原理以及一些组件的应用. 二.准备工作 1.确认储存规模 有很多的大数据项目其实数据量跟本没这么大,跟本不需要到使用Hadoop这类的大数据软件,所以,第一步应该是先确认数据量有多大,真的MySQL跑的太久再去使用Hadoop就好. 2.确认数据类型 除了结构化数据以外,现在有些大数据项目需要处理的是一些非结…

列出的所有端口都是TCP. 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. Component Service Qualifier Port Access Requirement Configuration Comment Hadoop HDFS DataNode 50010 External dfs.datanode.address DataNode HTTP server port…

第三方组件使用的端口 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. Component Service Qualifier Port Protocol Access Requirement Configuration Comment Ganglia ganglia-gmond 8649 UDP/TCP Internal ganglia-web 80 TCP External Via A…

组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 HD…

Why? Hadoop集群组件太多，默认端口无法记住，有事后需要查看，就在这里罗列下这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKeeper。 What? 端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.http…

组件   节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口…

远程调试对应用程序开发十分有用.例如,为不能托管开发平台的低端机器开发程序,或在专用的机器上(比如服务不能中断的 Web 服务器)调试程序.其他情况包括:运行在内存小或 CUP 性能低的设备上的 Java 应用程序(比如移动设备),或者开发人员想要将应用程序和开发环境分开,等等. 为了进行远程调试,必须使用 Java Virtual Machine (JVM) V5.0 或更新版本. JPDA 简介 Sun Microsystem 的 Java Platform Debugger Archite…

DistCp使用的端口 列出的所有端口都是TCP. 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. 已弃用(但仍然有效) Component Service Qualifier Port Access Requirement Configuration Comment Hadoop HDFS NameNode 8020 External fs.default. name or fs.de…

在一个集群中,尽管是多用户,但是端口是公用的,存在冲突的可能.如果另一个用户已经采用默认配置安装了hadoop,那么当前用户再安装hadoop时,必然会产生端口的冲突.在配置自己的hadoop时,可以自己配置datanode,namenode所需要的端口,避免冲突. 下述方法也可以用来解决一类因为端口冲突导致datanode.namenode和resourcemanager无法启动的问题.如果通过jps查看不到相应的进程,查看对应的日志,如果是端口冲突,就可以考虑用下文的方法来解决. 首先,选取…

********************************************hive*********************************************** hive.cli.print.current.db; 是否在命令行提示当前数据库,默认为FALSE hive.cli.print.header; 永久配置:$HIVE_CONF_DIR/.hiverc创建在此文件中 hadoop archive -archiveName NAME <src>* <d…

最近开发一个项目使用到.net mail组件发送邮件.在开发环境中一切正常,可是部署到阿里云服务器上死活发送不出去,一直连接不上,或者报语法错误. 然后是各种折腾,各种测试,最后发现,使用ssl的时候只有25或者587端口才能发送,非ssl的时候都正常. 项目使用的smtp服务器是阿里云的企业邮箱,用的ssl 465端口,阿里云服务器因为是专线25端口是禁止了的. 这下找到问题所在了,直接百度狗狗一下,发现已经有前辈提出来这个问题了(http://stackoverflow.com/questi…

目前,Hadoop还只是数据仓库产品的一个补充,和数据仓库一起构建混搭架构为上层应用联合提供服务. Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起. (1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode. (2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (3)MapReduce:它其实…

Cloudera Search使用的端口 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. Component Service Port Protocol Access Requirement Comment Cloudera Search Solr search/update 8983 http External All Solr-specific actions, update/que…

列出的所有端口都是TCP. 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. 零件 服务 港口 访问要求 组态 评论 Cloudera Navigator密钥受托服务器( Cloudera Navigator Key Trustee Server) HTTPS(密钥管理) 11371 外部 密钥受托者服务器服务 > 配置 > 类别 > 端口和地址 > 密钥受托者服务器端口 N…

端口 Cloudera Manager,CDH组件,托管服务和第三方组件使用下表中列出的端口.在部署Cloudera Manager,CDH和托管服务以及第三方组件之前,请确保在每个系统上打开这些端口.如果您使用的是防火墙,例如iptables的 要么 firewalld,并且无法打开所有列出的端口,必须完全禁用防火墙以确保完整功能. 在随后的小节的表中,每个端口的“访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示该端口仅用于组件之间的通信(例如HA配置中的JournalNode…

下图概述了Cloudera Manager,Cloudera Navigator和Cloudera Management Service角色使用的一些端口: Cloudera Manager和Cloudera Navigator使用的端口 当对等网络分发为包裹启用,Cloudera的管理代理可以获取来自Cloudera的管理服务器或从其他代理包裹,如下所示: 用于对等包裹分发的端口 有关更多详细信息,请参阅下表.列出的所有端口都是TCP. 在下表中,Internal表示该端口仅用于组件之间的通信…

    最近学习Hadoop 时发现在本机访问 hadoop 9000 端口没有问题,但是远程机器访问 9000端口时不能访问,通过telnet 命令诊断发现发现无法访问端口,经过网上搜索解决方案结合自己实践,总结解决办法一般有以下几点. 首先,利用netstat -tpnl查看的端口开放情况 下图中9000端口只能本机访问 下图中的9000端口可以通过192.168.1.105访问 1.防火墙未关闭或防火墙打开但是为开放9000端口 解决办法:通过 service iptables stop…

openstack 组件通讯是通过ZeroMQ+ceilometer发送组件调用信息,具体是通过TCP通讯,发送数据和接收数据是用同一个端口(在配置文件指定),下面通过代码稍作解析: IceHouse/ceilometer/ceilometer/openstack/common/rpc/impl_zmq.py def _multi_send(method, context, topic, msg, timeout=None, envelope=False, _msg_id=None): "&qu…

压缩包下载http://www.cnblogs.com/bfmq/p/6027202.html 1.zookeepermkdir /usr/local/hadooptar zxf /root/zookeeper-3.5.2-alpha.tar.gzmv /root/zookeeper-3.5.2-alpha /usr/local/hadoop/vim /etc/profile追加(java要预先装好)JAVA_HOME=/usr/java/jdk1.7.0_80/ZOOKEEPER_HOME=/…

节点 默认端口 用途说明 HDFS DataNode 50010 datanode服务端口,用于数据传输 50075 http服务的端口 50475 https服务的端口 50020 ipc服务的端口 50070 http服务的端口 50470 https服务的端口 8020 接收Client连接的RPC端口,用于获取文件系统metadata信息. journalnode 8485 RPC服务 8480 HTTP服务 ZKFC 8019 ZooKeeper,FailoverController,…

一般Hive依赖关系型数据库Mysql,故先安装Mysql $: yum install mysql-server mysql-client [yum安装] $: /etc/init.d/mysqld start [启动mysql服务] $: mysql [登录mysql客户端] mysql> create database hive; 安装配置Hive $: tar zvxf apache-hive-2.1.1-bin.tar 1. 配置环境变量 export HIVE_HOME=/usr/l…

================================Impala 相关================================ Impala的常用端口: jdbc/ODBC 端口: 21050 impala-shell 访问端口21000 web UI地址: impalad节点(一个集群多个该类节点) http://impalad_node:25000/ impala-state节点(一个集群一个该类节点) http://state_node:25010/ impala-ca…

Apache Flume和Apache Solr使用的端口 Apache Flume用于与Apache Solr通信的端口可能会有所不同,具体取决于您的配置以及是否使用安全性(例如,SSL).使用Flume写入HDFS和Solr接收器的典型群集使用下面列出的端口: 端口 描述 41414 HTTP端口 - Flume Web服务器侦听请求的端口.Flume持续使用此端口. 7184 Cloudera Manager事件发布端口 - 事件服务器侦听事件发布的端口.Flume持续使用此端口. 802…

Impala使用的端口 Impala使用下表中列出的TCP端口.在部署Impala之前,请确保在每个系统上打开这些端口. Component Service Port Access Requirement Comment Impala Daemon Impala Daemon Frontend Port 21000 External 用于传输命令和接收结果 impala-shell和Cloudera ODBC驱动程序的1.2版. Impala Daemon Impala Daemon Front…

MapReduce原理 MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果.Mapreduce就是任务的分解,与结果的汇总 MapReduce任务机器有两个一个是jobTracker,另一个是TaskTracher,JobTracker用于调度的工作,TaskTracher用于执行工作,一个hadoop集群只有一个JobTracker. 在分布式计算中,MapReduce框架负责处理了并行编程中分布…

Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作为接口,maprduce作为执行层 Hdfs作为储存层.设计的目的是让sql开发人员java技能较弱的人编写并查询海量数据 缺点执行效率低 Hive的访问 Hive ----odbc/jdbc----hiveserver2 Hive---hive Compiler 编译器 Optimizer 优化器…

1.检查是否正确的启动了resourcemanager服务 若是没有启动,请检查yarn-site-xml配置 2.若是启动了 1.检查客户机和虚拟机之间是否能够相互ping通 2.检查虚拟机防火墙是否关闭 3.排查 1.首先,各个虚拟机和客户端之前都能ping通,虚拟机都能上外网,说明网络没有问题. 2.各个虚拟机自己的防火墙已经关闭. 3.在外网可以连接22端口和50070端口 4.解决 通过命令:netstat -tpnl | grep java  发现 那么通过在本机通过127.0.0.…