一.环境准备 jdk-1.8+scala-2.11.X+python-2.7 二.创建目录 mkdir -p /opt/cloudera/csd 修改权限 chown cloudera-scm:cloudera-scm /opt/cloudera/csd 获取csd(放到/opt/cloudera/csd目录) wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar 修改组权限和用户权限 chg…

背景: 机器系统:redhat7.3:已经配置了http服务 集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装 参考文档:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 一.下载:(注意版本对应) 1.准备csd文件 路径http://archive.cloudera.com/spark2/csd/ 2.准备…

安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS 7.4 x64 32G 192.168.1.2 bigdata003-dev Cent OS 7.4 x64 15G 192.168.1.3 bigdata004-dev Cent OS 7.4 x64 32 192.168.1.4 安装包下载 下载 cloudera-manager.repo 文件…

相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 CentOS7安装CDH 第四章:CDH的版本选择和安装方式 CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章:CDH的管理-CDH5.12 CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章:…

Ubuntu 今天发布新版本了 其实昨天(2015-04-23)我就看到了 Ubuntu 发布新版本的新闻,下班后回家的第一件事就是访问 Ubuntu 的官网,很可惜,没有提供下载.今天(2015-04-24)一打开电脑,就弹出自动升级的提示.以前安装 Ubuntu 都是下载完整的光盘镜像进行安装,今天体验了一下升级安装.升级过程非常顺利,升级完成后,以前安装的程序以及我所有的配置文件都完整地得到了保留,重启系统也没有发现什么 Bug. 如果没有自动提示,也可以选择手动升级,只需要到"软件和更新…

15.SQL中的安全问题15.1 SQL注入简介SQL是用来和数据库交互的文本语言.SQL注入(SQL Injection)是利用数据库的外部接口将用户数据插入到实际的SQL中,以达到入侵数据库乃至操作系统的目的.产生的原因主要由于程序没有对用户输入数据进行严格的过滤,导致非法SQL语句的执行.SQL注入可能的危害包括:读取.修改.删除数据,获取用户名.密码等信息,获取管理员权限等.SQL注入很难防范,不能通过操作系统补丁.数据库升级.防火墙进行拦截.例子:select * from user…

一.前置准备 1. 基础信息 1.1 机器 机器名 服务 hadoop1 主节点 hadoop2 data.task hadoop3 data.task 1.2 服务版本 服务 版本 cdh 5.15.2 cm 5.15.2 jdk 1.8 2. 创建hadoop用户 不直接建议使用root用户,所以此处新建 hadoop用户 2.1 添加用户组及用户,配置密码 # 添加用户组 groupadd hadoop # 添加用户 useradd -m -g hadoop hadoop # 配置密码 p…

使用ansible离线部署CDH 5.15.1大数据集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在此之前,我之前分享过使用shell自定义脚本部署大数据集群,不管是部署CDH集群还是部署HDP集群基本上套路都一样,调优的方式也都大同小异.只是操作界面上可能存在一定的差异.最近赶上公司搞自动化运维项目,我们用到了ansible的一些功能,本篇博客主要记录ansible部署CDH服务. 一.安装ansible 1>.操作环境介绍 注意,请检查你的虚拟机是否可以正常联网,如…

Fedora 15 KDE中如何打开software management级如何应用 software management中有转载和卸载软件(Get and remove software)的功能 下面是打开方法: 打开后的界面如下: 输入关键字,即可找到想安装的东东,如输入chinese 如果要安装ibus-table-chinese,则只需点击后面的install,然后点击右下角的apply即可 文档信息 版权声明:自由转载-非商用-非衍生-保持署名 | Creative Commons…

后知后觉,今天才开始修复Struts2的漏洞 详细情形可以参考: http://struts.apache.org/release/2.3.x/docs/security-bulletins.html 本次的升级是把struts2.3.1.2升级到2.3.15.1 全部更新: ​ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 4…