一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON   报错原因: 在运行环境没有找到fastjson的依赖库 解决方法: 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包. 例如我的环境下SPARK_HOME是/usr/local/service/spark/. [hadoop@10 ~]$ ls $SPARK_HOME/jars/fast* /…

Linux系统运维笔记(五),CentOS 6.4安装java程序 用eclipse编译通的java程序,现需要实施到服务器.实施步骤: 一,导出程序成jar包. 1,在主类编辑界面点右健,选  run Configurations . 2,填项目名.选主类名,后提交 运行. 3,在项目上点右健,导出,导出时选runnable jar file. 4,Launch configuration 选刚刚运行的配置.Export destination,选导入文件位置.其它默认,导出文件. 二,将ja…

Linux系统运维笔记(四),CentOS 6.4安装 MongoDB 1,下载 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz 2,解压后,用SecureFXPortable.exe  工具,上传到服务器目录     /usr/local/mongodb3 3,在目录 /usr/local/mongodb3/bin 目录下创建 data目录,用于数据存储. 4,起动 /usr/local/mongodb3/bin/…

Linux系统运维笔记(四),CentOS 6.4安装Nginx 1,安装编译工具及库文件 yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel 2,安装 PCRE  ,PCRE 作用是让 Nginx 支持 Rewrite 功能. # yum install -y pcre pcre-devel 3,从官方地址(http://nginx.org/)下载 解压 #tar -zxvf nginx-1.10.…

Linux系统运维笔记(三),设置IP和DNS 手工配置静态的IP地址 也就是手工配置IP地址.子网掩码.网关和DNS. vi /etc/sysconfig/network-scripts/ifcfg-eth0 编辑本地网卡的配置文件 主要查看下面这几项是否和下面给出的一致即可. ONBOOT=yes BOOTPROTO=none IPADDR=192.168.1.66 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 DNS1=192.168.1.1 第二项,…

Linux系统运维笔记 Linux文件编辑命令 首先我们使用命令 vi filename 打开一个文件,这个时候进入到的是命令模式 接下来我们按i,然后键盘随便输入写内容. 然后按ESC重新进入到命令模式. 在命令模式的情况下,我们按:,进入到了末行模式. 输入wq!,然后回车,强行保存退出. q! [强制退出不保存]q[退出不保存]wq[退出并保存后面也可以加个!] vi /etc/centos-release 查看centos系统版本…

Linux系统运维笔记 查看系统版本和设置系统时间 查看系统版本 lsb_release -a (适用于所有的linux,包括Redhat.SuSE.Debian等发行版,但是在debian下要安装lsb) 一步到位,设置系统时间: date -s "20091112 18:30:50" &&hwclock --systohc 查看时区和时间 date //CST:中国标准时间(China Standard Time) //UTC:协调世界时,又称世界标准时间,简称UT…

http://slaytanic.blog.51cto.com/2057708/1038676 Hadoop运维记录系列(一) Hadoop运维记录系列(二) Hadoop运维记录系列(三) Hadoop运维记录系列(四) Hadoop运维记录系列(五) Hadoop运维记录系列(六) Hadoop运维记录系列(七) Hadoop运维记录系列(八) Hadoop运维记录系列(九) Hadoop运维记录系列(十) Hadoop运维记录系列(十一) Hadoop配置项整理(mapred-site.x…

Linux系统运维笔记(6),CentOS 7.6双网卡路由配置. 一,先确认系统版本: [root@localhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) 二,网卡1配置外网,配IP地址.子网掩码.和网卡. 网卡2配置内网,配IP地址,子网掩码,不要配网关. 三,写路由表route-网卡名,在via后指定内网的网关. [root@localhost ~]# vi /etc/sysconfig/netwo…

运维笔记--postgresql占用CPU问题定位 场景描述: 业务系统访问变慢,登陆服务器查看系统负载并不高,然后查看占用CPU较高的进程,发现是连接数据库的几个进程占用系统资源较多. 处理方式: 查找出占用系统内存&CPU排名前10的进程:[或者用top命令查看]  ---这里需要注意,如果用了容器,需要进入容器内部查看相应的进程. ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head 切换到postgres用户,执行psql,进入数据库…