50070:HDFSwebUI的端口号 8485:journalnode默认的端口号 9000:非高可用访问数rpc端口 8020:高可用访问数据rpc 8088:yarn的webUI的端口号 8080:master的webUI,Tomcat的端口号 7077:spark基于standalone的提交任务的端口号 8081:worker的webUI的端口号 18080:historyServer的webUI的端口号 4040:application的webUI的端口号 2181:zookeepe

1. 按照apache的官网的文档配置hdfs 2. 在 core-site.xml 中配置了 fs.defaultFS 的值为 hdfs://0.0.0.0:9000 3. 执行 start-dfs.sh 4. 执行 netstat -nptl,发现9000端口没有被监听 5. 后来不知做了什么,发现端口又被监听了.

起因看到一个用java写的轻博客,于是就兴致冲冲的试用一下.由于是lnmp的环境,Nginx占用了80端口,新博客只能用其他的端口,这里选择了9000端口,本地测试没问题.总不能访问了域名然后在加上端口号吧.于是就想着用Nginx来反向代理本地的9000端口 配置 新建一个配置文件 vim www.ti3.cc.conf 输入以下配置 listen 80; server_name localhost www.ti3.cc ti3.cc; location / { proxy_pass http:

升级php5的时候,发现nginx无法链接到php5,怀疑是php5端口的问题. netstat -an未发现监听9000端口. 查看/var/log/php5-fpm.log一切正常. 随后查看/etc/php5/fpm/pool.d/www.conf,发现listen = /var/run/php5-fpm.sock. 将listen设置为9000,即改成listen=9000 重启php5-fpm与nginx后,恢复. 好使

突然发现eclipse不能连上虚拟机了,报错是本机连接不上9000的端口. 觉得有点奇怪,就在命令行里试图ping通虚拟机,成功:但尝试这telnet 9000端口的时候,却报错连接不上. 上网查了这个问题,普遍都是防火墙的问题,但自己之前就已经永久关闭防火墙了,而且能ping通,觉得不是这个问题,又重新关闭了jps的进程,打算重新开,但重开时也一直在报错ssh network is unreachable. 尝试 service network restart,连接成功,再次尝试,没有解决.

    最近学习Hadoop 时发现在本机访问 hadoop 9000 端口没有问题,但是远程机器访问 9000端口时不能访问,通过telnet 命令诊断发现发现无法访问端口,经过网上搜索解决方案结合自己实践,总结解决办法一般有以下几点. 首先,利用netstat -tpnl查看的端口开放情况 下图中9000端口只能本机访问 下图中的9000端口可以通过192.168.1.105访问 1.防火墙未关闭或防火墙打开但是为开放9000端口 解决办法:通过 service iptables stop

出现9000端口拒绝访问的情况有可能是防火墙没有开放9000端口,可以选择关闭防火墙或者卸载防火墙,如果还是无法解决这种情况可能是因为hadoop的启动顺序不对. 应该按照如下得顺序启动 Step2: cd #your_hadoop_path Step3: ./bin/hadoop namenode -format Step4: ./sbin/start-all.sh

问题背景 昨晚帮配置nginx+php服务的时候,发生了一个奇怪的事情netstat -anp|grep 9000查看9000端口,一直没有监听,于是nginx无法通过fastcgi来代理php请求.一直都是502 原因分析 因为php7升级了配置,默认不再监听9000端口了,监听的是/run/php/php7.0-fpm.sock 解决方案 找到/etc/php/7.0/fpm/pool.d/www.conf,用;注释掉sock监听的方式,增加9000端口监听;listen = /run/ph

问题背景 配置nginx+php服务的时候,发现网站能打开html,打开php文件就显示502,一般这个是php没启动啊啥的导致不能正常解析php文件. 原因分析 因为nginx解析php文件是交给fastcgi_pass 来处理的,默认一般fastcgi_pass 有两种方式来解析php,一种是常见的tcp也就是监听9000端口,这边只做tcp的解析. netstat -ntlp 查看9000端口是没有监听的,默认不再监听9000端口了,监听的是/tmp/php-cgi-56.sock [ro

比如查看端口# lsof -i:9000 本机ip已经修改为192.168.0.50,而经过# lsof -i:9000查看到,端口是这样的,192.168.0.88:9000,显示的还是上一个ip的端口,这时,一种办法是reboot重启,另外一种办法,最简单,不需要重启,杀掉bcupdate,重启进程即可.如下 ps -ef|grep 9000 杀掉进程kiil -9  2135 再查看,则没有这个进程了. 看我画的红色方格,后面显示的就是启动这个进程的来源方法. 所以,再输入一次,就可以启动

2018/01/05 13:35:07 [error] 20508#19380: *1 WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream, client: 192.168.1.107, server: localhost, request: "OPTIONS /bds/php/inde

https://www.cnblogs.com/jonsea/p/5522018.html     php-fpm配置文件详解 其实就是PHP配置文件改一个参数 listen = 127.0.0.1:9000   在php-fpm.conf文件里找到这一行,如果listen后面不是127.0.0.1:9000则改成127.0.0.1:9000 但nginx配置也要和PHP配置保持一致 server里面也要指定fastcgi_pass 127.0.0.1:9000;

Nginx与php-fpm通信的两种方式:tcp socket 和 Unix socket. Unix socket 是一种终端,可以使同一台操作系统上的两个或多个进程进行数据通信.这种方式需要再nginx配置文件中填写php-fpm的pid文件位置,效率要比tcp socket高. tcp socket的优点是可以跨服务器,当Nginx和php-fpm不在同一台机器上时,只能使用这种方式. Unix socket 配置方法 打开 /usr/local/php/etc/php-fpm.conf

已解决: 需要重新格式化hdfs. 1.停止hdfs: 2.删除hdfs的相关文件目录(hdfs-site.xml中配置的存放文件的目录). 3.启动journalnode:sbin/hadoop-daemon.sh start journalnode: 4.格式化namenode:hdfs namenode -format; 5.hdfs zkfc -formatZK: 6.启动hdfs:sbin/start-dfs.sh

读取结构化数据 Spark可以从本地CSV,HDFS以及Hive读取结构化数据,直接解析为DataFrame,进行后续分析. 读取本地CSV 需要指定一些选项,比如留header,比如指定delimiter值,用,或者\t或者其他. import org.apache.spark.sql.{DataFrame, SparkSession}object ReadCSV { val spark: SparkSession = SparkSession .builder() .appName(Spar

https://blog.csdn.net/boling_cavalry/article/details/86747258 https://www.cnblogs.com/xuliangxing/p/7234014.html 第二个链接较为详细,但版本较旧 注意spark 7077端口URL,如果hostname没配置正确,spark-submit会报错 jps看了两个slaves是有worker进程的. spark安装完毕,启动hadoop集群:./sbin/./start-all.sh jp

0.前言 0.1  分布式运算框架的核心思想(此处以MR运行在yarn上为例)  提交job时,resourcemanager(图中写成了master)会根据数据的量以及工作的复杂度,解析工作量,从而产生任务(有多少个MapTask以及多少个ReduceTask),然后根据各个nodemanage节点资源情况进行任务划分.最后得到结果存入hdfs中或者是数据库中 注意:由图可知,map任务和reduce任务在不同的节点上,那么reduce是如何获取经过map处理的数据呢?======>shuff

Spark on YARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoop HDFS并且运行在yarn上,然后就可以开始部署spark on yarn了,假设现在准备环境已经部署完毕,这里是在CDH 环境下部署Spark 除了上面的环境准备,安装Spark前,还应该保证Scala正常安装,基于Scala的情况下,就可以开始部署Spark了, 首先还是解压Spark,安装位置就是/bigdata/spark -bin-hadoop2..t

环境:CentOS 6.6 x64  选用Spark版本 1.4.1.Zookeeper 3.4.6 一.安装 1.Spark运行模式 Local:使用于windows和linux平台(多用于测试,细分可分为5种情况) Standalone:spark集群模式,使用spark自己的调度方式 On Yarn:运行在Hadoop 2的Yarn资源管理框架之上,由Yarn负责资源管理,Spark负责任务调度和计算(又可分为2种情况) On Mesos:Mesos是一个类似Yarn的资源调度框架,提供了

PHP程序在开发的时候调试是比较方便的,大体情况下,输出,打log是可以解决几乎所有问题. 但是还不够,有些问题,用打log的形式定位问题是相当痛苦的事情,有些时候测试环境没配好的话,你可能需要做许多的准备,才能跑一次调试,然后各种log看的头晕. Xdebug是一个可以用于PHP断点调试的强大工具,可以大大缩短定位问题的时间,而且一步步的调试,更容易发现一些,你很难注意到的潜在问题. 背景: 1.公司内网,动态ip,有很多的接口权限都是需要对应的网络策略的,代码框架并没有很好的支持生产环境和测

本帖最后由 exzzzipad 于 2014-7-2 22:33 编辑 基本情况:设备:TP-LINK WR720N目前固件:[antclan][20120825]720N-4M-NAS-withSAMBA-squashfs存储情况:外插了个8G U盘,开启了extrootXware版本:Xware1.0.15_mipseb_32_uclibc 故障现象:无法连接到本机9000端口 这个颜色背景的字符是我输入的命令 我的portal文件位于/app/Xware1.0.15_mipseb_32_u