在安装spark之前,首先需要安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇: https://blog.csdn.net/weixin_42001089/article/details/81865101 ################################################################################################## Hadoop按上面文章配置后,启动hdfs文件系统以及yarn资源调度器: 使…

1.安装jdk 安装:sudo apt-get install openjdk-7-jdk 配置: 修改文件 sudo nano /etc/profile , 添加以下内容: 立即执行使之生效: 2.安装依赖库文件 3.安装ZMQ 下载 zeromq-2.1.7.zip ,下载地址 http://download.zeromq.org,如果链接打不开的,则链接:https://pan.baidu.com/s/1VUB_jKNQQOwvqkLhofSBYw 密码:cxp0 进入解压文件夹,依次执行…

centos7安装spark(伪分布式) spark是由scala语言开发的,首先需要安装scala. Scala安装 下载scala-2.11.8,(与spark版本要对应) 命令:wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 解压到文件夹并配置环境变量 vim /etc/profile #scala export SCALA_HOME=/home/zck/software/scala export PAT…

1. 安装hadoop 详细请参见本人的另外一片博文<Hadoop 2.7.3 分布式集群安装> 2. 下载hive 2.3.4 解压文件到/opt/software -bin.tar.gz -C /opt/software/ 3. 配置hive环境变量: sudo vim /etc/profile 在文件末尾添加: #hive export HIVE_HOME=/opt/apache-hive--bin export HIVE_CONF_HOME=$HIVE_HOME/conf export…

Hadoop简介和安装及伪分布式 大数据概念 大数据概论 大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产. 主要解决海量数据的存储和海量数据的分析计算问题. 按顺序给出数据存储单位:bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB. 1Byte =8bit 1KB=1024Byte 1MB=1024KB 1GB=10…

Ubuntu18.04安装mysql5.7 1.1安装 首先执行下面三条命令: # 安装mysql服务 sudo apt-get install mysql-server # 安装客户端 sudo apt install mysql-client # 安装依赖 sudo apt install libmysqlclient-dev # 检查状态 sudo netstat -tap | grep mysql 1.2设置root密码 mysql5.7安装完成后普通用户不能进mysql,原因:root…

Ubuntu18.04安装RabbitMQ 2018年06月10日 19:32:38 dmfrm 阅读数:2492    版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u010889616/article/details/80643892 1.安装erlang 由于rabbitMq需要erlang语言的支持,在安装rabbitMq之前需要安装erlang sudo apt-get install erlang-nox 2.安装Rabbitmq…

ubuntu18.04 安装mysql不出现设置 root 帐户的密码问题      https://blog.csdn.net/NeptuneClouds/article/details/80995759 MySQL Server 5.7的安装: sudo apt install mysql-server mysql-client 在安装过程中,它会要求你设置 mysql 服务器 root 帐户的密码. 确认 root 帐户的密码 ps:我在安装时没有出现上述两个窗口 我安装时只有 直接安装成…

在Ubuntu18.04安装Virtualenv虚拟环境 [实验环境]: 在这台电脑上已经安装了python3 [安装参考] 1.查看是否已安装virtualenv virtualenv --version 2.安装命令 sudo pip install virtualenv sudo pip install virtualenvwrapper 3.添加环境变量 1).先查看一下virtualenvwrapper.sh安装后的路径 which virtualenvwrapper.sh 我这台电脑…

Ubuntu18.04安装thunderbird并设置中文 安装thunderbird sudo apt-get install thunderbird 安装中文包 sudo apt-get install thunderbird-locale-zh-cn 重新运行thunderbird…