一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop CDH (Cloudera’s Distribution Including Apache Hadoop) HDP (Hortonworks Data Platform) 1.2 部署方法的比较 手工部署: 需要配置太多参数,配置繁琐,建议初学者部署方式 工具部署:比如Ambari和clouder

Linux安装Redis 6.0.5 ./install_server.sh报错 linux 安装Redis6.0.5时 进行到./install_server.sh时报错, This systems seems to use systemd. Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry! 解决方案: vi ./

1.下载ElasticSearch-2.2.0安装包 https://www.elastic.co/downloads/elasticsearch 2.安装ElasticSearch-2.2.0 rpm -ivh elasticsearch-.rpm /etc/init.d/elasticsearch有服务的配置文件 3.修改配置文件 vim /etc/elasticsearch/elasticsearch.yml 改文件存放路径和访问IP: 创建目录修改所有者权限: mkdir /data/e

(安装spark集群的前提是服务器已经配置了jdk并且安装hadoop集群(主要是hdfs)并正常启动,hadoop集群安装可参考<hadoop集群搭建(hdfs)>) 1.配置scala环境 详细配置过程可参考<linux安装scala环境>,此处就不在详细描述 2.下载spark安装包 因为我之前安装的hadoop是3.0版本的,所以spark我使用的是spark-2.3.0版本 wget https://www.apache.org/dyn/closer.lua/spark/

1. linux安装mysql8.0.12,亲测可用. 以下是安装过程中出现的问题: 1 [root@localtest1 file]# systemctl start mysqld 2 Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl -xe"

结构如下: Redis 官方不建议Redis安装在WINDOWS 服务器上(尤其是生产中分布式事物缓存). linux 下Redis 5.0主从复制(一主二从)哨兵模式的搭建:https://www.cnblogs.com/hmwh/p/10089430.html linux 下Redis 5.0主集群搭建:https://www.cnblogs.com/hmwh/category/1321360.html 1.新特性如下: 1.新的Stream数据类型.https://redis.io/top

1:首先 要下载 这两个 压缩包 注意:liunx是否已经安装过 gcc没安装的话 先安装:yum install gcc-c++ 2:安装 redis:redis-3.0.2.tar.gz (1):解压到目录:tar -zxf redis-3.0.2.tar.gz (2):执行:make (3):执行:make PREFIX=/usr/redis install (注意:PREFIX=安装路径 install) (4):执行:cp redis.conf /usr/redis (5):执行:注:

我这里使用的时centos7-mini,centos系统本身默认安装有python2.x,版本x根据不同版本系统有所不同,可通过 python --V 或 python --version 查看系统自带的python版本 有一些系统命令时需要用到python2,不能卸载 1.安装依赖包 1)首先安装gcc编译器,gcc有些系统版本已经默认安装,通过  gcc --version  查看,没安装的先安装gcc,yum -y install gcc 2)安装其它依赖包,(注:不要缺少,否则有可能安装

1.MySQL 8.0.26 下载 官方网站下载 MySQL 8.0.26 安装包,下载地址: https://downloads.mysql.com/archives/community/ 需要注意:Linux操作系统是32位还是64位,本案例采用Linux 64位操作系统进行讲解,通过wget命令下载安装包. 使用df -lh命令查看,磁盘大小,尽量安装在比较大的磁盘下,防止空间不够使用. [root@VM-0-4-centos home]# df -lh Filesystem Size U

http://carvin.iteye.com/blog/785365 一.软件准备 1.apache-maven-3.0-bin.tar.gz 下载地址:http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0-bin.tar.gz 2.nexus-oss-webapp-1.8.0-bundle.tar.gz 下载地址:http://nexus.sonatype.org/downloads/ 二.maven安装配置

1.jdk 安装 参考资料:https://www.cnblogs.com/shihaiming/p/5809553.html 2.elasticsearch 安装 下载:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz 解压:tar -zxvf elasticsearch-6.4.0.tar.gz 2.2 修改配置文件:config/elasticsearch.yml #配置es的集群

https://docs.microsoft.com/zh-cn/dotnet/core/install/linux-package-manager-centos7 更新资料库 sudo rpm -Uvh https://packages.microsoft.com/config/centos/7/packages-microsoft-prod.rpm 安装sdk或者运行时 sudo yum install dotnet-sdk-3.0 //或者 sudo yum install aspnetc

1.下载 qt-linux-opensource-5.2.0-x86-offline.run 2. chmod u+x ./qt-linux-opensource-5.2.0-x86-offline.run 3.安装g++ 关键是,使用yum你的知道安装包的名字是什么. 如果直接键入yum install g++,会告诉你没有这个包. 所以你应该使用gcc-c++,这才是这个包的名字. 所以应该是执行:yum install gcc-c++ 4.配置环境 变量 export QTDIR=/hom

CM+CDH6.2.0环境准备 一 虚拟机及CentOs7配置 CentOS下载地址 master(16g+80g+2cpu+2核)+2台slave(8g+60g+2cpu+2核) 1.1 打开"VMware Workstation",选择"创建新的虚拟机" 1.2 选择"典型"选项,点击"下一步 " 1.3 选择"稍后安装操作系统",点击"下一步 " 1.4选择"Linux

目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要注册一个账号,下面的链接进入后需要登录,也可以自行在上面的下载页面找. CDH 6.2.0,下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/ CM 6.2.0,下载地址:https://archive.cloudera.com/cm6/6.2

CentOS 6.5 (Final)默认安装的git版本为1.7.1.3,而我们希望安装1.9.0版本.由于rpm安装库里没有1.9.0版本,因此我们需要找其它方法来安装. 网上有很多文章介绍了如何从git源程序编译和安装,我这里不准备介绍安装过程,只是做个总结. 从git源程序来安装大致有两类,一类是用git源程序中的make install安装,另一类是先对源程序rpmbuild打包,然后再yum localinstall安装.这两种方法都能成功安装,但用make install方法来安装绕

Linux下安装Python3.3.0_路易_新浪博客 Linux下安装Python3.3.0 (2013-01-08 11:45:37)

详解Linux下swig 3.0.12的手动安装过程 首先 从http://www.linuxfromscratch.org/blfs/view/cvs/general/swig.html上下载swig 3.0.12的安装压缩包, 使用tar –xvf swig3.0.1tar.gz解压压缩包 进入swig的文件夹内 cd swig-0.12 安装swig,具体的安装命令请详见 http://www.linuxfromscratch.org/blfs/view/cvs/general/swig.

自:http://vivianyw.blog.163.com/blog/static/13454742220145601415881/?latestBlog NX9.0.0 for linux安装. Ubuntu (ubuntukylin14.04)安装UG9.0教程       详细安装方法:(按照我的步骤终端命令可以直接复制粘贴)1.安装ug有几个软件是必装的,java,tcsh,ksh,lsb.安装方法:java直接用ubuntu自带的软件中心搜java,尽量安装高版本.tcsh,ksh,

网上找了很多文章,发现不全而且有些问题,安装很多次之后,总结一篇可以使用的,记录之. 环境:Centos7+Redis 5.0,如果环境不符合,本篇仅供参考. 1.准备工作 作者习惯软件安装包放在单独路径,解压路径也放在单独路径. 下载路径:mkdir -p /data/softwore cd /data/software 2.软件下载 redis包下载地址,可以下载后用ftp工具导入下载路径中,也可以使用wget直接下载. 作者:wget http://download.redis.io/re