hadoop的日志目录(/home/hadoop/app/hadoop-2.6.4/logs) 1.hadoop启动不正常用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a.在服务器的终端命令行使用jps查看相关进程 (namenode1个节点 datanode3个节点 secondary namenode1个节点) b.如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因 配置文件出错,saxparser exception: ―…

遇到Mysql启动异常问题,可以从以下几个方面依次进行问题排查: (1)如果遇到“Can't connect to local MySQL server through socket '/tmp/mysql.sock'”类似问题,查看Mysql配置文件(默认在/etc/my.cnf目录下),使用命令vi /etc/my.cnf,查看是否具备如下配置, [mysqld]port            = 3306socket       = /var/lib/mysql/mysql.sock 可能…

Hadoop 部署文档 1 先决条件 2 下载二进制文件 3 修改配置文件 3.1 core-site.xml 3.2 hdfs-site.xml 3.3 mapred-site.xml 3.4 yarn.xml 3.5 slaves 3.6 hadoop-env.sh 4 将配置好的 Hadoop 分发到其他节点 5 启动集群 5.1 格式化 HDFS 5.2 启动集群 6 提交示例任务 7 坑 7.1 hostname 配置 7.2 format 命令 7.3 日志 7.4 配置文件的同步…

Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Hadoop:http://hadoop.apache.org/releases.html 注意,Hadoop官方虽然没有window…

Hadoop部署方式-本地模式(Local (Standalone) Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Hadoop总共有三种运行方式.本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode).本篇博客主要讲解第一种运行方式,即本地运行方式,想要查看伪分布式的小伙伴请参考:https://www.cnblogs.com/yinzheng…

一, 服务器快速搭建gitlab方法 可以参考gitlab中文社区 的教程centos7安装gitlab:https://www.gitlab.cc/downloads/#centos7centos6安装gitlab:https://www.gitlab.cc/downloads/#centos6如下方法按照官网来操作,手工安装过于麻烦.测试机器:阿里云centos6.8机器.1. 安装配置依赖项 如想使用Postfix来发送邮件,在安装期间请选择’Internet Site’. 您也可以用se…

生产环境 hadoop部署在超大内存服务器的虚拟机集群上 好 还是  几个内存较小的物理机上好? 虚拟机集群优点 虚拟化会带来一些其他方面的功能. 资源隔离.有些集群是专用的,比如给你三台设备只跑一个spark,那还算Ok.但在很多规模很小的团体中,在有限的硬件设备的情况下,又要跑spark,比如又要跑zookeeper.kafka等等,这个时候,我们希望它们之间是不会互相干扰的.假设你spark的配置没做好,内存占用太大了,你总不希望把你好端端zookeeper给影响得挂掉.那么此时虚拟机或者…

Hadoop部署方式-完全分布式(Fully-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本博客搭建的虚拟机是伪分布式环境(https://www.cnblogs.com/yinzhengjie/p/9058415.html)链接克隆出来的,我们只需要修改一下配置文件就可以轻松实现完全分布式部署了,部署架构是一个NameNode和三个DataNode,如果身为一个专业的运维人员你可能会一眼看出来这个集群存在单点故障,别着急,关于高可用集群…

Linux MySQL 常见无法启动或启动异常的解决方案 在 Linux 上自建 MySQL 服务器,经常遇到各种无法启动或启动后异常的问题,本文列举一些常见问题的解决办法. 注意:以下错误日志提示,都是查看 MySQL 错误日志得到,查看方法如下: 查看下 MySQL 配置文件 my.cnf 中有记录,日志记录在 /alidata/log/mysql/error.log 下 MySQL 配置文件 my.cnf 权限问题导致无法启动,错误提示:World-writable config file…

问题场景: 领导让我搭建一套Jenkins实现自动化部署,项目是SpringCloud项目,配置的过程很顺利,给我提供了一台服务器做部署测试(服务器以前是做dev环境,很长时间没人用了) 我把所有项目配置上,但至少一半构建失败,异常信息:[main] INFO  o.a.catalina.core.StandardService -Stopping service [Tomcat] 启动日志的最后一行就是这个,没有任何有用的信息,找了很多资料,耽误了2天时间终于解决了. 解决思路:首先要明确一点…