环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一.Hive运行方式1.命令行方式cli:控制台模式 --与hdfs交互 hive> dfs -ls /; Found items drwxr-xr-x - root supergroup -- : /root drwxrwx--- - root supergroup -- : /tmp drwx

本文由  网易云发布. 作者:唐雕龙 本篇文章仅限内部分享,如需转载,请联系网易获取授权. 面向新手的hadoop+hive学习环境搭建,加对我走过的坑总结,避免大家踩坑. 对于hive相关docker,并没有官方的docker,第三方维护经过测试各种不靠谱,所以才想到自己搭建一套,然后后期在整理成docker上传~~~ 基础环境: 1. 公司云主机debain8.8 (不像docker,所以对系统内核无要求) 1. 前置安装: 1.1 jdk8(hive要求jdk7以上,千万不要jdk9!!!

第一篇:MySQL 系列(一) 生产标准线上环境安装配置案例及棘手问题解决 第二篇:MySQL 系列(二) 你不知道的数据库操作 第三篇:MySQL 系列(三)你不知道的 视图.触发器.存储过程.函数.事务.语句 第四篇:MySQL 系列(四) 主从复制.读写分离.模拟宕机.备份恢复方案生产环境实战 去年公司有一个七年PHP开发经验的工程师,想要跳槽. 去国内某知名互联网公司面试后,被虐惨了,非要我给他讲讲什么是主从复制. 那好吧,读这篇文章的人好帅! 元芳,你怎么看? 本章内容: 主从复制 简

CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才行.在此讲解几点关于Linux系统安装后的基础优化操作.注意:本次优化都是基于CentOS(5.8/6.7). 下面我就为大家简单讲解几点关于Linux系统安装后的基础优化操作. 注意:本次优化都是基于CentOS(5.8/6.7).关于5.8和6.7两者优化时的小区别,我会在文中提及的. 优化条目: 修改ip地址.网关.主机名.DNS等 关闭selinux,清空iptables 添加普通用户并进行sudo授权

MySQL 系列(五) 多实例.高可用生产环境实战   第一篇:MySQL 系列(一) 生产标准线上环境安装配置案例及棘手问题解决 第二篇:MySQL 系列(二) 史上最屌.你不知道的数据库操作 第三篇:MySQL 系列(三)你不知道的 视图.触发器.存储过程.函数.事物.索引.语句 第四篇:MySQL 系列(四) 主从复制.读写分离.模拟宕机.备份恢复方案生产环境实战 第五篇:MySQL 系列(五) 多实例.高可用生产环境实战 本章内容: MySQL 多实例 简介 安装前的配置 生产环境屌炸天

原文链接:https://www.deepwebcn.com/82.html centos6.5 CentOS 6.5 系统安装之后并不能立即投入生产环境使用,常常需要先经过我们运维人员的优化才行.优化内容:   1 2 3 4 5 6 7 8 9 10 11 12 13 修改ip地址.网关.主机名.DNS等 关闭selinux,清空iptables 添加普通用户并进行sudo授权管理 更新yum源及必要软件安装 定时自动更新服务器时间 精简开机自启动服务 定时自动清理/var/spool/cl

本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是“借力开源.反哺开源”,也讲到了 Service Mesh 在阿里巴巴的发路径将经历以下三大阶段: 撬动 做透价值渗透 实现技术换代 Dubbo Mesh 在闲鱼生产环境的落地,分享的是以多语言为撬动点的阶段性总结. 文章首发于「QCon」,阿里巴巴中间件授权转载. 闲鱼场景的特点 闲鱼采用的编程语言是 Dart,思路是通过 Fl

生产环境ssh登陆策略 备份:cp /etc/ssh/sshd_config{,.bak} vim /etc/ssh/sshd_config   17 #Port 22 #修改ssh连接端口 38 #PermitRootLogin yes #是否允许root账号远程登陆 43 #PubkeyAuthentication yes #是否开启公钥连接认证 47 AuthorizedKeysFile .ssh/authorized_keys #公钥文件的放置位置 65 PasswordAuthenti

本文由云+社区发表 本文主要讲述了如何一步步在生产环境上部署django和vue,操作系统默认为centos 说明:后文中出现的以下字符串均表示具体的路径或者名称,含义如下: DJANGO_DIR----表示django的工程根目录 DJANGO_NAME----表示django的工程名称 VUE_HTML_DIR----表示vue编译好的index.html路径 VUE_STATIC_DIR----表示vue编译好的静态文件夹static的路径 整体框架 一个常用的web框架图如下图所示 框架

本章内容: 主从复制 简介原理 备份主库及恢复从库,配置从库生效 读写分离 如果主宕机了,怎么办? 双主的情况 MySQL 备份及恢复方案 备份单个及多个数据库 mysqldump 的常用参数 如何增量恢复呢? 增量恢复的必要条件 生产环境 mysqldump 备份命令 恢复喽 一.MySQL主从复制 1.简介 我们为什么要用主从复制? 主从复制目的: 可以做数据库的实时备份,保证数据的完整性: 可做读写分离,主服务器只管写,从服务器只管读,这样可以提升整体性能. 原理图: 从上图可以看出,同步

一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个worker CeleryExecutor(依赖redis或rabbitmq) MesosExecutor(依赖mesos) 第三方开源方案ASFC 针对scheduler单点问题,有第三方方案:ht

HDFS集群PB级数据迁移方案-DistCp生产环境实操篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 用了接近2个星期的时间,终于把公司的需要的大数据组建部署完毕了,当然,在部署的过程中踩了不少坑,自己也对系统,网络,各个大数据生态圈常用软件进行了调优操作,后期等我整理好笔记后会分享给大家参考的.集群是部署好了,但是没有数据的话也没有人会去用.因此我们需要把旧集群的数据迁移至新集群中(旧集群的数据都是存放在云平台上的,而新集群),在迁移的过程中,参考网上的很多解决方案,最

第三百九十九节,Django+Xadmin打造上线标准的在线教育平台—生产环境部署CentOS6.5安装mysql5.6 1.检测系统是否已经安装过mysql或其依赖,若已装过要先将其删除,否则第4步使用yum安装时会报错: [root@192 ~]# yum list installed | grep mysql mysql-libs.x86_64 5.1.71-1.el6 @anaconda-CentOS-201311272149.x86_64/6.5 [root@192 ~]# 2.删除已

在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的.Hadoop的.HBase的等等, HA分冷备和热备,热备是集群自带的,冷备就是硬件的. 这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode.master崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了? 咋办? 这就是冷备的需要,进程掉了,在服务器运行的情况下: 有一种机制可以启动进程服务,crontab+shell 五分钟之内检查进程情况,没有启

Centos6.5生产环境最小化优化配置,满足业务需求! 01.启动网卡 #centos6.x最小化安装后,网卡默认不是启动状态 ifup eth0  //  ifconfig eth0 up /etc/sysconfig/network-scripts/ifcfg-eth0   #网卡网络配置 /etc/udev/rules.d/70-persistent-net.rules   #网卡命名规则 02.检查SSH服务 ifconfig 查看IP后SSH终端连接 service sshd res

CentOS(5.8/6.4)linux生产环境若干优化实战 原文:http://blog.51cto.com/oldboy/1336488 特别说明:本文来自老男孩linux培训VIP学生学习笔记.特和所有博友分享.更多优化,请关注老男孩培训后续课程内容以及分享. 为了满足广大博友工作需求,老男孩linux培训课程从2013年起已经同时适合Centos5.X和Centos6.X! CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才行.在此讲解几点关于Linu

企业生产环境用户权限集中管理项目方案案例: 1 问题现状 当前我们公司里服务器上百台,各个服务器上的管理人员很多(开发+运维+架构+DBA+产品+市场),在大家登录使用Linux服务器时,不同职能的员工水平不同,因此导致操作很不规范,root权限泛滥(几个所有员工都有root权限),经常导致文件等莫名其妙的丢失,老手和新手员工对服务器的熟知度不同,这样使得公司服务器安全存在很大的不稳定性.及操作安全隐患,据调查企业服务器环境,50%以上的安全问题都来源于内部,而不是外部.为了解决以上问题,单个用

准备工作: 192.168.16.128 192.168.16.129 两条虚拟机.安装好 Nginx 安装Nginx 更新 yum 源文件: rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Cento

生产环境常见的HTTP状态码列表(老男孩整理) 原文:http://blog.51cto.com/oldboy/716294 ################################################################本文内容摘录于老男孩linux实战运维培训中心教案内容如有转载,请务必保留本文链接及版权信息.欢迎广到运维兄弟一起交流linux/unix网站运维技术!网站运维交流群:114580181 45039636老男孩 QQ:31333741  mail

准备工作: 192.168.16.128 192.168.16.129 两台虚拟机.安装好Nginx 安装Nginx 更新yum源文件: rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7

最有用系列: <Linux生产环境上,最常用的一套“vim“技巧> <Linux生产环境上,最常用的一套“Sed“技巧> <Linux生产环境上,最常用的一套“AWK“技巧> <"Sed" 高级功能:我这小脑瓜都快绕晕了> 敢用自己的名字做软件名字的,都有非常强大的自信.比如,垠语言什么的. awk的命名得自于它的三个创始人姓别的首字母,都是80来岁的老爷爷了.当然也有四个人的组合:流行的GoF设计模式.但对于我这游戏爱好者来说,想到的竟