【慕课网实战】Spark Streaming实时流处理项目实战笔记七之铭文升级版

铭文一级：

第五章：实战环境搭建

Spark源码编译命令:
./dev/make-distribution.sh \
--name 2.6.0-cdh5.7.0 \
--tgz \
-Pyarn -Phadoop-2.6 \
-Phive -Phive-thriftserver \
-Dhadoop.version=2.6.0-cdh5.7.0

铭文二级：

第五章：实战环境搭建(所有都配置到环境变量)

1、Scala的安装：Download->previous releases 　　//课程使用2.11.8

2、Maven的安装：Download->archives->binaries   //课程使用3.3.9

修改settings.xml的默认仓库地址

3、下载hadoop的安装包（CDH5的地址里有）

生成ssh公钥指令：ssh-keygen -t rsa

拷贝公钥：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

解压hadoop安装包：

etc/hadoop目录下6个配置文件需要修改(*#*  //对应name与value配对)：

配置文件第一部分（4个）：

hadoop.env.sh　　//修改java_home地址

core-site.xml　　 /*     fs.defaultFS#hdfs://hadoop000:8020     hadoop.tmp.dir#/home/hadoop/app/tmp      */

hdfs-site.xml　　 //副本系数自行设置: dfs.replication#1

slaves　　　　　  //修改主机localhost为hadoop000

修改完这四个文件可以格式化hadoop：

进入hadoop目录的bin目录，执行：./hadoop namenode -format

配置到环境变量

到sbin目录下：./start-dfs.sh     //hadoop000:50070

配置文件第二部分（2个）：

mapred-site.xml　　//cp一份模板出来 运行在yarn上：mapreduce.framework.name#yarn

yarn-site.xml　　//整合mapreduce：yarn.nodemanager.aux-services#mapredue-shuffle

到sbin目录下：./start-yarn.sh     //hadoop000:8088

hadoop fs -ls /

hadoop fs -mkdir /data

hadoop fs -put $FILE /data/

hadoop fs -test $FILE　　　　　　//查看详细内容

运行一个内置的example测试hadoop环境是否安装成功=>

hadoop目录下有share/hadoop/mapreduce(在这目录下运行？是的)

hadoop jar $example那个jar包 pi 2 3

刷新yarn界面可观察到有内容提交上去

4、Hbase的安装（CDH5网址可以下载1.2.0版本)

需要修改三个配置文件：

hbase.env.sh　　//A.java_home、B.解开ZK，并设置为false，不用hbase默认的zk来管理

hbase-site.xml　//与hadoop-site.xml做比较

A.hbase.rootdir#hdfs://hadoop000:8020/hbase

B.hbase.cluster.distributed#true

C.hbase.zookeeper.quorum#hadoop000:2181

regionservers　  //修改为hadoop000，与hadoop的slaves类似

启动：先启动zookeeper与hadoop的dfs，再启动hbase，bin目录下： ./start-hbase.sh

hadoop000:60010为默认UI端口

使用（单词不会或者忘了可以按tab键提示）：./hbase shell

查看版本：version

查看状态：status

建表：create 'member','info','address'

查看所有表：list

查看表的详细内容：describe 'member'

5、Spark环境搭建，具体操作看笔记一的铭文二、铭文四或者：https://www.imooc.com/article/18419

bin目录下./spark-shell --master local[2]    //默认UI端口为：hadoop000:4040

IDEA搭建maven的Spark Streaming环境，在原有的基础上：

1.添加三个version：

spark.version:2.2.0

hadoop:2.6.0-cdh5.7.0

hbase:1.2.0-cdh5.7.0

2.因为使用cdh5，所以要引入cdh5仓库<repositories><repository>：

id#可以自己取

url#http://repository.cloudera.com/artifactory/cloudera-repos

3.添加四个dependency：//单个依赖实际是包含了很多的依赖，否则自己一个一个地引入非常地麻烦

groupId#org.apache.*

artifactId#hadoop-client、hbase-client、hbase-server、spark-streaming_2.11

version#//${相对于的引入即可}

ps:spark-streaming_2.11可在官网文档

Programming Guides->Spark Streaming->拉下：Basic Concepts看到，直接引入即可

最后可以rebuild 一下maven项目（菜单栏或者右键即可）