(一)备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用.因此应该经常对元数据进行备份,最好是异地备份. 1.将元数据复制到远程站点 (1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器 #!/bin/bash export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H` if [ ! -d

Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下,并解压. 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件(若文件不存在,自己创建.) 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS 4. 启动YARN 以上整个过程与Hadoop单机Hadoop测试环境搭建基本一致,不同的是步骤2中配置文件设置内容以及步骤

眼下,做互联网应用,最火的架构是微服务,最热的研发管理就是DevOps, 没有之一.微服务.DevOps已经被大量应用,它们已经像传说中的那样,可以无所不能.特来电云平台,通过近两年多的实践,发现完全不像大家说的那样简单,大家是报喜不报忧,实在是水太深,谁做谁知道.今天就与大家分享一下在微服务架构+DevOps下,开发测试环境的一些运维痛点问题和解决方法. 架构的复杂度直接决定了运维的工作量,架构不是越复杂越好,而是适合最好.下面简单说说几种架构的优缺点.基于.net在搭建应用时,最常用的方法就

眼下,做互联网应用,最火的架构是微服务,最热的研发管理就是DevOps, 没有之一.微服务.DevOps已经被大量应用,它们已经像传说中的那样,可以无所不能.特来电云平台,通过近两年多的实践,发现完全不像大家说的那样简单,大家是报喜不报忧,实在是水太深,谁做谁知道.今天就与大家分享一下在微服务架构+DevOps下,开发测试环境的一些运维痛点问题和解决方法. 架构的复杂度直接决定了运维的工作量,架构不是越复杂越好,而是适合最好.下面简单说说几种架构的优缺点.基于.net在搭建应用时,最常用的方法就

之前已经详细介绍了Mysql基于GTID主从复制的概念,原理和配置,下面整体记录下MySQL5.7基于GTID主从复制+并行复制+增强半同步复制+读写分离环境的实现过程,以便加深对mysql新特性GTID复制的理解和实际业务场景中部署应用. 一.实验环境 [root@mysql-master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) 为了方便实验,关闭所有节点的防火墙 [root@mysql-master ~

1.NN宕掉切不过去先看zkfc的log引起原因是dfs.ha.fencing.ssh.private-key-files的配置路径配错造成以致无法找到公钥 2.dfs.namenode.shared.edits.dir为JN启动的所在地址,在部署时必须启动对应服务器的JN,否则无法完成NN的元信息拷贝 3.zkfc为zookeeper的客户端,负责切换action的工作,当zkfc启动了的时候standby的服务器才会切为active   4.dfs.ha.fencing.methods为中断

前提: ①已经搭建好zk ②已经安装好JDK 正文开始: 首先从官网下载hadoop 2.7.3 (虽然官网3.0都出了.但是目前还没经过完全的测试..待测试后...) 一.hadoop-env.sh(环境变量相关) export JAVA_HOME=/app/jdk/jdk1.8.0_92export HOME=/app/hadoopexport HADOOP_HOME=$HOMEexport HADOOP_COMMON_HOME=$HOMEexport HADOOP_MAPRED_HOME=

1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换.hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换[可选]hdfs haadmin -ns bdpfinance - transitionToActive --forceactive nn2 --forcemanual*假设原active节点为nn1 2.误删 1)确认删表语句或命令拿到用户的删表语句如

kerberos相关: kadmin.local //以超管身份进入kadmin kadmin //进入kadmin模式,需输入密码 kdb5_util create -r JENKIN.COM -s //创建数据库 service krb5kdc start //启动kdc服务 service kadmin start //启动kadmin服务 service kprop start //启动kprop服务 kdb5_util dump /var/kerberos/krb5kdc/slave_

一,期中架构考核概述 1.1 架构图 1.2 架构图公司背景概述 公司是一个新兴的人脸识别高新创业公司,公司名称xxxx 老总是博士生导师,还有一个副总是研究生导师 副总同时是研发总监,负责所有的研发人员管理 产品研发一共有4个小组,总共27人左右,每个小组有一个产品研发经理(在读博士生),成员绝大多数都是在读硕士生,偶尔也会外聘有经验的研发人员. 运维这里本来只有我和一个网管两个人,但最近随着业务需要,又刚刚新招了一个负责线上展示环境的大数据运维(主要是hadoop,zookeeper等).我

经过上两篇实战Windows Server Docker系列文章,大家对安装Windows Docker服务以及如何打包现有IIS应用为docker镜像已经有了基本认识.接下来我们来简单讲讲一些最基本的运维问题.鉴于到目前为止我们只谈到单服务器部署.这里暂时不涉及集群模式下的复杂生产环境运维. 本主题将涵盖下面这些主要内容,由于这个主题包含的内容较多,将分成上下两篇发布: 上篇 远程操作Windows Docker服务器 自动化Docker编译和部署 Windows Docker网络配置和端口映

报错内容如下: ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 5 内容概要 作为一名运维小哥,先后经历了没有DBA的技术团队,有DBA的技术团队,然后又回到了没有DBA的技术团队.当开发人员提交SQL执行需求,运维人

一:文件属性 我们使用ls -lhi命令来查看文件时,会列出一堆的文件属性,如: [root@Gin day7]# ll -hi total 7.8M 260674 -rw-r--r-- 1 root root 608 Jan 27 09:44 group 260683 ---------- 1 root root 495 Jan 27 09:44 gshadow 260623 -rw-r--r-- 1 root root 1.2K Jan 27 09:43 passwd 260693 -rw-

第15章 运维管理 随着各种技术的快速发展,现今的DBA可以比以前的DBA维护多得多的数据库实例.DBA已经越来越像一个资源的管理者,而不是简单的操作步骤执行人.本章将为读者介绍规模化运维之道.首先,我们讲述规模化的相关知识,然后再简要介绍下服务器的采购,最后,笔者将分享一些运维管理规则,希望能起到抛砖引玉的作用. 15.1 规模化运维 对于机器比较少的公司,我们可能不需要太过关注一些规模化运维的原则,这个时候更值得优化的是人员成本.而在拥有了大量机器之后,我们必须考虑如何高效地运维大规模的数据

胡凯,bilibili运维负责人,曾经就职于金山软件.金山网络.猎豹移动,负责运维相关工作.Bilibili是国内最大的年轻人潮流文化娱乐社区,银河系知名弹幕视频分享UGC平台.   95后二次元新人类的追捧,让以视频弹幕.UP主闻名于世的bilibili(以下简称B站)愈发火爆,无数年轻人通过电脑.手机.电视等终端设备在B站上追番.看弹幕,特别是新番上线时的访问压力是非常大的,这就给B站的IT运维团队带来了巨大压力.胡凯在去年加入B站刚刚成立的运维部,人少事多,遇到了很多坑. 本文根据作者在“

第三部 3. Linux系统文件重要知识初步讲解 # ls  -lhi   (i: inode,每个文件前的数字代表文件身份ID:h: human 人类可读) 显示:25091 -rw-r--r-- 1 root root 81 4月 15 00:33 oldboy.txt 第1列:inode=>index node  索引节点编号. 第2列:文件类型及权限(共10个字符,第一个字符为类型,后9个字符为文件权限). 第3列:硬链接个数( 详细参看ln命令的讲解).硬链接是文件的又一个入口. 第4

CentOS 6.6 x86_64官方正式版系统(64位)下载地址 系统之家:http://www.xitongzhijia.net/linux/201412/33603.html 百度网盘:http://pan.baidu.com/s/1i5HSsnz 本博客大部分文章如无特别说明都是基于该系统之上的! Linux系统磁盘分区知识简介 1)磁盘在使用前一般要先分区 2)磁盘分区有主分区,扩展分区和逻辑分区之分.一块磁盘最多可以有4个主分区,其中一个主分区的位置可以用一个扩展分区替换,在这个扩展

hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2)  原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频率cpu.大内存, namenode 100万文件的元数据要消耗800M内存,内存决定了集群保存文件数的总量, resourcemanager同时运行的作业会消耗一定的内存. datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比,CPU的vcore数计算公式为=cpu个数 * 单

日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-daemon.sh start|stop nodemanager/resourcemanager 检查进程是否完成关闭:

开发好的程序部署在服务器上,如何对服务器的基本指标进行监控呢?最近对一套工具进行了研究,可以快速搭建服务器监管环境,很是强大,最重要的是它还很酷炫. 原理:数据采集+时序数据库+可视化,下面记录一下搭建到部署的全过程. 需要的原材料: InfluxDB:时序数据库    这里介绍,这里下载,这里我使用的是1.7.3,windows 64位版本 Telegraf:数据采集器    这里介绍,这里下载,这里我使用的是1.9.2,windows 64位版本 Grafana:可视化展示     这里介绍

Ansible 安装和配置 Ansible 说明 Ansible 官网:https://www.ansible.com/ Ansible 官网 Github:https://github.com/ansible/ansible Ansible 官网文档:https://docs.ansible.com// 简单讲:它的作用就是把写 shell 这件事变成标准化.模块化.方便更好的自动化运维 安装 官网说明:https://docs.ansible.com/ansible/latest/insta