hadoop 学习笔记二
NameNode的持久化（persistent）(day4,1)
类似于：Redis redis中的持久化文件是相互独立的当两个持久化文件同时存在时默认使用的是aof ,但是namenode 的持久化文件是相互配合的。
checkpint (初始化保存点） 格式化hdfs集群时（bin/hdfs -namenode format） -->生成一个新的FsImage 每一次从新启动hdfs集群时，hdfs 会把editsLog中的数据整合到Fsimage中，
又因为持久化的过程中会在checkpoint 后将数据保存到editsLog中，但是如果服务器一直启动那么ditsLog就会一直写，会很大，为了减少editsLog中文件过大采取的其中一种方法就是，再整合的时候
会将整合的内容产生一个新的FsImage 然后nameNode中的数据也会开始写在一个新的EditsLog文件中，那么旧版本的EditsLog和FsImage并不会被删除掉。
NameNode在运行时，把重要的元数据放置在内存中，如果内存出现问题，则元数据丢失，为了保证元数据安全，NameNode有对应的持久化机制，把元数据持久化到硬盘存储。
而持久化的数据放哪，类似于redis将持久化的文件放在rdb aof , 而namenode 将持久化的文件放在EditsLog （可编辑日志 ,二进制）和FsImage（文件系统镜像，二进制）中
EditsLog：可编辑日志，文件中存放的是二进制 保存的是（checkpoint）之后的用户所有的写操作日志
FsImage：文件系统镜像，文件中存放的也是二进制，某一个时间点（checkpoint）的namenode镜像数据。
对于editsLog 和FSImage这两个可以和redid 对比着记，redis是 rdb aof 各自分离的，但是FSImage 和EditsLog 确实相互合作的editsLog 中记录了系统在运行过程中的素有操作信息，FSImage中存储了
整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。
主要是记录edits操作产生的日志信息。如果edits什么也没有做，它也会不断的产生信息.
FSimage是NameNode的元数据存储快照
1. FSImage和EditsLog存储位置
#fsImage默认存储位置 /opt/install/hadoop-2.5.2/data/tmp/dfs/name
dfs.namenode.name.dir
#editslog默认存储位置
dfs.namenode.edits.dir
2.定制FSImage和EditsLog的存储位置
hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///xxx/xxxx</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///xxx/xxxx</value>
</property>
3. 安全模式（safe mode)
每一次启动namenode时，hdfs都需要进行FSImage和EditsLog的整合，在这个过程中，不允许用户做写操作，把这个过程称之为安全模式（safe mode),默认30秒
NameNode重启的时候先进行FSImage和EditsLog的合并 然后，NameNode从FSImage和Edits文件中读取数据，加载到内存中。
1. safe mode相关命令
bin/hdfs dfsadmin -safemode [enter leave get]
2. HDFS集群启动时，完成流程
HDFS集群启动 过程 （安全模式）
1，整合 FSImage和EditsLog 生成新的EditsLog 和 FSImage,由新EditsLog接收用户写操作命令
2, DataNode都需NameNode主动汇报健康情况（心跳）3秒
3, 汇报块列表 通过校验和 检查块是否可用，并定期1小时汇报。
我很喜欢这篇博客讲的很符合我理解的方式：（http://www.sohu.com/a/300240640_315839）
1.NameNode： NameNode是一个中心服务器，负责管理文件系统的名字空间以及客户端的访问，比如文件的打卡、关闭、重命名文件或者目录。它负责确定数据块到具体的存储节点的映射。在其同意调度下进行数据块的创建、删除、复制。
2.DataNode: DataNode是HDFS的实际存储节点，负责管理它所在节点的存储；客户端的读写请求。并且定期上报心跳和块的存储位置。
3.Block： HDFS上文件，从其内部看，一个文件其实是被分成一个或者多个数据块存储的，这些数据块存储在一组DataNode上。
4.Edits: 在HDFS发起的创建、删除等操作其实是一个事物，事物在NameNode上以Edit对象存储在edits文件中，持久化在NameNode的本地磁盘上
5.FSimage: FSimage是NameNode的元数据存储快照，持久化在NameNode的本地磁盘上。
1.客户端操作HDFS上的文件时，向NameNode获取文件的元数据信息，NameNode返回文件的块存储位置，Client选择块存储位置最近的节点进行块操作。通常优先级是本机>本机柜>其他机柜的节点。数据块的分布式通常是在同一机架的两个节点存储两份，为了避免单个机架的故障导致数据块丢失，会选择在另外一个机架上的节点存储一份。如果把数据存储在三个不同的机架上，由于不同机架之间通过交换机进行数据交换，网络速度会比单机架慢，因此复制数据也会慢，此外，还会增加机架之间的交换机的压力
2.DataNode除了负责客户端的读写操作外，还需要定期的向NameNode的active和standby做心跳汇报，如果有DataNode的心跳异常，被确定为死的节点，NameNode将会对存储在该节点的数据进行复制，保证数据块的数据块的副本数。DataNode除了心跳还会将本节点的数据块上报给NameNode的active和standby
SecondaryNameNode【了解】
产生的背景：
1. 尽管已经对namenode做了持久化但是如果namenode宕机了虽然数据没有丢是但是服务却停止了
2. 如何保证即使namenode宕机服务也不停止就是要做集群所以此时SecondNamenode 诞生，
3. 如果namenode宕机了又有了secondNamenode 但是又如何切换呢？
4. secondaryname又是如何同步namenode中的数据呢?
5. 如果当服务启动的时候开始使用EdittsLog进行写操作当hdfs这时才进行FSImage和EditsLog的整合但是如果服务是第一次启动，并且服务一旦启动就不会停那么FsImage
就会一直是空的，而且如果editsLog中充满着很多无意义的操作 又是怎么解决这个问题。
6. 如果服务是频繁的开启那么日志文件EditsLog会有很多，又怎么处理的这个问题
7. 如果namenode整合FsImage和EditsLog那么就会降低效率
SecondaryNameNode是NameNode的助手
作用：1. 定期拉去FsImage和EditsLog中的数据（默认是1小时 或者在1小时内执行了事务1百万次）
他会将FsImage和EditLog拉去出来合并后生成一个新的FsImage,整合完成后再将这个新的FsImage替换掉老版本的FsImage周而复始这个过程
hadoop1的时候是：如果出现一个极限情况，内存出现问题了，硬盘也出现问题了，那么就可以部分还原nameNode的数据因为SecondaryNameNode的数据默认是1小时拉取数据
hadoop2的时候已经不用这种方法了，可以搭建集群了。
解决方案：
将在SecondaryNameNode 合并后的FSImage文件替换掉NameNode中的FsImage文件
自定义SecondaryNameNode 拉取数据的周期
hdfs-site.xml
dfs.namenode.checkpoint.period 3600秒 dfs.namenode.checkpoint.txns 1000000
secondaryNameNode启动方式：sbin/start-dfs.sh 或者
sbin/hadoop-daemon.sh start secondarynamenode
定制secondaryNameNode 启动的节点不想让SecondaryNameNode和NameNode一起启动
hdfs-site.xml
dfs.namenode.secondary.http-address 0.0.0.0:50090
dfs.namenode.secondary.https-address 0.0.0.0:50091
HANameNode集群（Hadoop NameNode 集群）
NameNode 设置的是双主 一个的状态是Active 一个的状态是Standy
如果active这个主结点宕机后会切换到standy 这个主节点注意：在切换的过程中一定会有卡顿的但是短时间的卡顿客户端是感受不到的。
还有一个问题两个主结点一定是搭建在两条服务器上的那么他们的IP 端口号不相同，而我们的core-site.xml中是要指定主结点的IP 和端口号的
这个时候怎么切换呢，到目前为止有两种做法一种是IP漂移 一旦我发现NAmeNode不可用了那么就将Standy的IP改变成Active的IP
第二种就是虚拟IP 我们访问第三方的IP 由第三方的IP来决定如果active宕机后路由到哪去。但是这种方式还有一个问题就是我哪知道主机有没有问题
也是采用将两台主结点发送心跳，如果不发送心跳了就代表出现了问题。但是还有一个问题就是如果这个虚拟IP出现了问题呢，这就使用了zookeeper
这个虚拟IP就是用了zookeeper 因为zookeeper 也搭建了集群。
===============================================================================================================
HANameNode 的与案例分析
在切换主备的时候要注意数据的同步两个nameNode 要拥有相同的数据
这里standBynamenode起到了两个作用一个是secondarynamenode 定期整合fsimage 和editsLog的内容和备选主节点 的作用
脑裂：就是指：如果nameNode 由于网络延迟没能在有效期内发送心跳包，那么就有一种可能存在两个nameNode 这就是脑裂,这时不管你是真宕机还是假宕机那么我就是让你宕机
使用ssh 免密登录到你的服务器上执行脚本杀掉你。 这就是解决脑裂的方法
zookeeper 是如何选主的。
HANameNode集群的搭建
1. zookeeper集群
1.1 解压缩
tar -zxvf zookeeper-xxx-tar.gz -C /opt/install
1.2 创建数据文件夹
mdkir zookeeper_home（zookeeper的安装目录）/data
1.3 conf目录修改zookeeper的配置文件
修改zoo_sample.cfg 为 zoo.cfg
mv zoo_sample.cfg zoo.cfg
编辑内容
dataDir=/opt/install/zookeeper-3.4.5/data server.0=hadoop2.baizhiedu.com:2888:3888
server.1=hadoop3.baizhiedu.com:2888:3888
server.2=hadoop4.baizhiedu.com:2888:3888
1.4 zookeeper_home/data
在data下建立一个文件myid
第一台服务器：myid文件 输入 0 对应 hadoop2.baizhiedu.com 代表的是hadoop2这个服务
第二台服务器：myid文件 输入 1 对应 hadoop3.baizhiedu.com 代表的是hadoop3这个服务
第三台服务器：myid文件 输入 2 对应 hadoop4.baizhiedu.com 代表的死hadoop4这个服务
1.5 scp -r 命令 同步集群中所有节点 并 修改对应的myid文件
scp -r zookeeper-3.4.5/ root@hadoop3.zhulifei.com:/opt/install/
scp -r zookeeper-3.4.5/ root@hadoop4.zhulifei.com:/opt/install/
zookeeper 选取主节点的原理：
假设有三台服务：当第一台启动的时候自认为是主节点这时剩下的不给他投票，第二台启动说编号比第一台大给自己投一票第一台认可也投一票
第三台服务启动，编号最大给自己投一票但是现在没有服务为他投票所以第一次充当namenode的往往是中间那一台。
1.6 主节点 ssh 其他节点
1.7 启动zk服务
bin/zkServer.sh start | stop | restart
bin/zkServer.sh status 查看集群状态 【必须集群完整启动完成】 bin/zkCli.sh [leader] 访问必须要在leader这个节点执行
zookeeper是一个树状结构 2. HA-HDFS集群
清空 data/tmp/ 目录下的内容
2.1 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value> //ns 这个名字可以随便起
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/install/hadoop-2.5.2/data/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop2.baizhiedu.com:2181,hadoop3.baizhiedu.com:2181,hadoop4.baizhiedu.com:2181</value>
</property>
2.2 hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property> <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop2.baizhiedu.com:8020</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop2.baizhiedu.com:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop3.baizhiedu.com:8020</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop3.baizhiedu.com:50070</value>
</property> <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop2.baizhiedu.com:8485;hadoop3.baizhiedu.com:8485;hadoop4.baizhiedu.com:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/install/hadoop-2.5.2/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制，如果ssh是默认22端口，value直接写sshfence即可 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
配置hadoop2这台后不要忘记了还有两台也要配置
scp -r etc/hadoop/ root@hadoop3.zhulifei.com:/opt/install/hadoop-2.5.2/etc/
scp -r etc/hadoop/ root@hadoop4.zhulifei.com:/opt/install/hadoop-2.5.2/etc/
2.3 yarn-env.sh添加如下内容
export JAVA_HOME=/usr/java/jdk1.7.0_71 首先启动各个节点的Zookeeper，在各个节点上执行以下命令：
bin/zkServer.sh start 在某一个namenode节点执行如下命令，创建命名空间
bin/hdfs zkfc -formatZK （主节点hadoop2） 在每个journalnode节点用如下命令启动journalnode
sbin/hadoop-daemon.sh start journalnode (journalnode同步EditsLog 三个hadoop 都要启动部署在zk中的namenode) 在主namenode节点格式化namenode和journalnode目录
bin/hdfs namenode -format ns 在主namenode节点启动namenode进程
sbin/hadoop-daemon.sh start namenode 在备namenode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！ bin/hdfs namenode -bootstrapStandby (hadoop3)
sbin/hadoop-daemon.sh start namenode 在两个namenode节点都执行以下命令
sbin/hadoop-daemon.sh start zkfc 在所有datanode节点都执行以下命令启动datanode
sbin/hadoop-daemon.sh start datanode 日常启停命令
sbin/start-dfs.sh
sbin/stop-dfs.sh
apache官方网站上提供的二进制文件，是基于32为操作系统进行编译的，不适合与64位操作系统，自己编译
我在一台纯净版的虚拟机上安装的
2. 把他们解压
安装jdk
1. 配置JDK环境变量
vi .bash_profile
/etc/profile
- source /etc/profile 或者 source .bash_profile 来生效一下
使用javac -version 或者java -version来检测是否安装成功
2. 安装需要的依赖工具
安装Linux 系统包
yum install wget
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++
3. 下载： protobuf-2.5.0.tar.gz
解压：tar -zxvf protobuf-2.5.0.tar.gz
编译安装：
进入安装目录，进行配置，执行命令 ./configure
安装命令：
make
make check
make install
4. 安装Maven
解压：maven
修改环境变量 etc/profile
在maven 的setting.xml 的配置文件中加入镜像操作
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
通过mvn 验证maven是否安装成功
5. 安装 findbugs
下载： findbugs-1.3.9.tar.gz
解压： tar –zxvf findbugs-1.3.9.tar.gz
设置环境变量（/etc/profile）：
加在文件末尾就行
export FINDBUGS_HOME=/opt/modules/findbugs-1.3.9
export PATH=$PATH:$FINDBUGS_HOME/bin
执行命令：source /etc/profile
验证：findbugs -version
在maven目录下执行：export MAVEN_OPTS="-Xms256m -Xmx512m" 设置maven的内存
在hadoop的源码包中执行：mvn package -DskipTests -Pdist,native -Dtar 执行在Hadoop2.5.0的源码包中\
获得编译好的hadoop ：
hadoop_src_home/hadoop-dist/target
执行成功的截图，如果你没有下载成功那么久多执行几次：mvn package -DskipTests -Pdist,native -Dtar
如果好几次都没有成功那么就把maven重新装一遍 或者换一个低版本的maven
把自己编译的lib包 替换hadoop二进制 lib 包 设置HADOOP_HOME环境变量
当你整个过程结束后在你的/root/.m2 目录下会产生一个repository 里面都是你下载好的依赖
在你的hadoop源码包中会有一个target/hadoop-2.5.2.tar.gz
总结出现的问题：
1. maven版本过高
2. 错误
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (dist) on project hadoop-hdfs-httpfs:
An Ant BuildException has occured: exec returned: 2
[ERROR] around Ant part ...<exec dir="/home/pory/workplace/hadoop-2.4.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/target"
executable="sh" failonerror="true">... @ 10:134 in /home/pory/workplace/hadoop-2.4.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/target/antrun/build-main.xml
[ERROR] -> [Help 1] 这是因为/home/pory/workplace/hadoop-2.4.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads目录下的文件没有下载完全，
可以手动下一份匹配版本的文件放在下面，在http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.36/bin/ 然后重新执行命令
编译完成后使用：
首先就是要上传hadoop的安装包，解压，
hadoop32位和64位最大的区别就是native这个文件夹的内容不同其他都一样
所以如果想要切换只需要改变native下的内容就可以了。
需要应用64为的hadoop替换32位hadoop /opt/install/hadoop-2.5.2/lib/native 的内容
# 替换一定在linux系统中直接替换。将我们上面编译好的文件内容来一次替换。
接下来就是修改hadoop的配置文件了
vim hadoop-env.sh
1.1 hadoop-env.sh
exportJAVA_HOME=/usr/java/jdk1.7.0_71
1.2 core-site.xml
<!--用于设置namenode并且作为Java程序的访问入口--->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop.baidu.com:8020</value>
</property>
<!--存储NameNode持久化的数据，DataNode块数据——>
<!--手工创建$HADOOP_HOME/data/tmp-->
命令：mkdir -p data/tmp
<property> <name>hadoop.tmp.dir</name>
<value>/opt/install/hadoop-2.5.2/data/tmp</value>
</property>
1.3 hdfs-site.xml
<!--设置副本数量默认是3但是单节点测试，改成1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
1.4 mapred-site.xml
<!--yarn与MR相关-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> 1.5 yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> 1.6slaves 配置自己是告诉虚拟机我本机即做nameNOde 也做dataNode
hadoop2.baizhiedu.com
HDFS相关内容的总
1.概念（原理）
2. java 编码
1. HDFS shell 命令
2. Java API
Configuration
FileSystem
IOUtils
Path
MapReduce基本概念
1. 什么是mapreduce ,谁能能够和mapreduce起到相同地 作用 spark
#后续 Spark完成类似的工作
MapReduce是Hadoop体系下的一种计算模型（计算框架），主要功能是用于操作，处理HDFS上的大数据级数据。
ResourcesManager 是主 NodeManager是从
ResourcesManager 负责资源调度 按需分配，NodeManager 上报资源。 只要一台节点是DateNode 那么他一定是NodeManager
ResourcesManager 还负责监控任务（map reduce都是任务）
2.mapreduce的构建思想（结合上图）
因为数据运算是要加载进内存中进行运算而作为TB级的数量级大数据在大多数情况下是不被普及的尽管有TB级的内存但是仍旧不广泛使用
所以需要小数量级的内存才能进行运算，而每一个datenode 都由自己独立的cpu 所以就很容易想到局部运算在进行汇总的思想 ，所以在mapreduce中，map就是用于局部运算而
reduce就是进行汇总计算。然而下一个问题又出现了，每一个datanode的服务器型号或者大小可能不同，cpu的内核和线程也可能不同为了不造成资源的浪费，或者能够打破物理硬件上的局限性
便采用了逻辑上的整体资源分配数据在实际上的物理上的地址可能不是连续的但是在逻辑上是连续的，而所谓这个资源总体分配的总工程师就是resourcemanager ，他不仅可以负责资源的调度
而且还能顺便负责监控任务的作用，他为什么能够担负起监控map reduce 任务的作用呢，实际上主要是因为作为资源的总工程师是要知道资源的基本信息的，而这些基本信息是有每一个nodeManager
来进行上报的，这样在map 或者reduce在进行计算的时候如果出现了问题 ，nodemanager 上报，和resourcemanager就能够及时的知道。
3. 启动yarn
1. 配置相关的配置文件 etc/hadoop
yarn-site.xml mapred-site.xml
2. 启动yarn
2.1 伪分布式
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
2.2 集群方式
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定resourcemanager所对应的节点--> 【分布式环境新加】
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop12.baizhiedu.com</value>
</property>
slaves
datanode同时又是nodemanager
同步集群的每一个节点
scp -r hadoop root@hadoop12.zhulifei.com:/opt/install/hadoop-2.5.2/etc/
scp -r hadoop root@hadoop13.zhulifei.com:/opt/install/hadoop-2.5.2/etc/
正常启动hdfs
namenode格式化
sbin/start-dfs.sh
集群方式的yarn启动
建议 namenode 不要和 resourcemanager放置在同一个点
# ssh相关的机器，避免yes
在集群环境下，yarn启动的命令，需要在resourcemanager所在的节点执行
sbin/start-yarn.sh
sbin/stop-yarn.sh
验证：
jps看进程
http://hadoop12.baizhiedu.com:8088
Mapreduce 程序开发步骤：
Mapreduce第一个程序分析
MapReduce 第一个程序开发
1. 准备工作上传文件：
2. java代码需要的pom.xml
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.2</version>
</dependency> <dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.5.2</version>
</dependency> <dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.2</version>
</dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.5.2</version>
</dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-common -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-common</artifactId>
<version>2.5.2</version>
</dependency>
编码：
# MapReduce编程中 一定会涉及到序列化的操作 ，基本进行了封装
String ---- Text
int ---- IntWritable
Long -----LongWritable # 打成jar，上传到yarn集群（resourcemanager)
bin/yarn jar hadoop-mr-baizhiedu.jar
hadoop实现一个job作业的的java代码：
/**
* Hadoop 自身提供一套可优化网络序列化传输的基本类型
* Integer IntWritable
* Long LongWritable
* String Text
*/
public class MyMapreduce { /**
* LongWritable 偏移量 long，表示该行在文件中的位置，而不是行号
* Text map阶段的输入数据 一行文本信息 字符串类型 String
* Text map阶段的数据字符串类型 String
* IntWritable map阶段输出的value类型，对应java中的int型，表示行号
*/ // 构建map类
public static class Mymaper extends Mapper<LongWritable,Text,Text,IntWritable>{
/*
key = k1 //行首字母偏移量 表示该行在文件中的位置，而不是行号
value = line 行数据
context 上下文对象
*/ @Override
public void map(LongWritable k1, Text v1, Context context) throws IOException, InterruptedException {
// suns xiaohei
String line = v1.toString();
String[] words = line.split("\t"); //分词
for (String word : words) {
// suns 1
// xiaohei 1
Text k2 = new Text(word);
IntWritable v2 = new IntWritable(1);
//写出
context.write(k2,v2);
}
}
}
/**
* Text 数据类型：字符串类型 String
* IntWritable reduce阶段的输入类型 int
* Text reduce阶段的输出数据类型 String类型
* IntWritable 输出词频个数 Int型
* reduce函数的输入类型必须匹配map函数的输出类型。
*/
public static class MyReduce extends Reducer<Text,IntWritable,Text,IntWritable> {
/**
* key 输入的 键
* value 输入的 值
* context 上下文对象,用于输出键值对
*/
@Override
public void reduce(Text k2, Iterable<IntWritable> v2s, Context context) throws IOException,
InterruptedException {
int result = 0;
for (IntWritable v2 : v2s) {
result+=v2.get();
}
Text k3 = k2;
IntWritable v3 = new IntWritable(result);
context.write(k3,v3);
}
} public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "MyFirstJob");
// 作业以jar包形式运行
job.setJarByClass(MyMapreduce.class); // InputFormat
Path path = new Path("/src/data");
TextInputFormat.addInputPath(job,path); // map
job.setMapperClass(Mymaper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class); // reduce
job.setReducerClass(MyReduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class); // 输出目录一定不能存在，有MR动态创建
Path out = new Path("/dest2");
FileSystem fileSystem = FileSystem.get(conf);
fileSystem.delete(out,true);
TextOutputFormat.setOutputPath(job,out); // 运行job作业
job.waitForCompletion(true);
}
}
代码
当然，这个只是普通的java代码，如果在这运行那么我们在linux上搭建的环境也就没有意义了。
所以要把项目打成jar包放在linux上的jdk中
还要下载一个插件
Maven自定义骨架
程序员根据自己的需求，定义Maven Archetype(骨架)，后续选择自定义的骨架，就可以把我们需要的pom,其他配置文件，代码的骨架，自动生成，简化开发与测试
1. 创建一个模板module
1. 引入相关jar的坐标
2. 创建Java代码在本项目的根下：mvn --settings F:\apache-maven-3.3.9\conf\settings.xml archetype:create-from-project
2.复制骨架的坐标（便于后续的安装）
<groupId>com.baizhiedu</groupId>
<artifactId>hadoop-test-archetype</artifactId>
<version>1.0-SNAPSHOT</version>
3.安装骨架
cd target\generated-sources\archetype
mvn clean install
4.创建项目并引入骨架
需要指定骨架的坐标，来源第二步。
下面是一个简易图：
MapReduce程序的调试
1.建议MR代码中通过Log4进行调试
xxxxxxxxxx Logger logger = Logger(xxx.class);
logger.info()
通过上述操作 输出的结果，只能查看job的信息,而Map,Reduce的信息看不到。需要开启Yarn 历史日志 ，日志归档
2. yarn集群中如何开启历史日志，日志归档
1. 配置文件
mapred-site.xml
指定历史服务器所在的位置及端口
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop11.zhulifei.com:10020</value>
</property>
指定历史服务器所在的外部浏览器交互端口号及机器位置
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop11.zhulifei.com:19888</value>
</property>
yarn-site.xml 日志聚合
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--指日志保存的时间 单位秒-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
要进行同步和其他两台服务器同步到集群的每一个节点域名映射不用改
2. 启动进程
sbin/mr-jobhistory-daemon.sh start historyserver 每个节点都要启动
sbin/mr-jobhistory-daemon.sh stop historyserver
日志聚合：
实战：
应用shell脚本 解决
首先关闭日志聚合：
1. vim etc/hadoop/yarn-env.sh 在 192.168.253.11 这台机器上进行操作
export YARN_LOG_DIR=~/logs/yarn
export YARN_PID_DIR=~/data/yarn
2 . 创建脚本
if [ $# -le 0 ]
then
echo 缺少参数
exit 1
fi logtype=out if [ $# -ge 1 ]
then
logtype=${2}
fi for n in `cat /opt/install/hadoop-2.5.2/etc/hadoop/slaves`
do
echo ===========查看节点 $n============
ssh $n "cat ~/logs/yarn/userlogs/${1}/container_*/*${logtype}|grep com.baizhiedu"
done
3. 运行脚本：
1. 修改脚本权限
2. ./scanMRLog.sh application_1558968514803_0001
关闭日志聚合也就是JobHistoryServer 关闭这个，然后执行这个
然后启动idea中的程序，可以查看你的日志文件中的信息
执行./scanMRLog.sh application_1558968514803_0001
再执行上面的命令。
MapReduce的实战案例
启动节点：
启动: sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager 停止:
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager 启动secondarynamenode
./sbin/hadoop-daemon.sh start secondarynamenode
或者 sbin/start-dfs.sh
java 代码：
执行后：可以看到日志中的读取的数据
查看统计结果
MapReduce自定义数据类型
MapReduce中，Map与Reduce会进行跨JVM,跨服务器的通信，所以需要MapReduce中的数据类型进行序列化
Writable
Compareable
WriableCompareable (既能排序又能序列化)
IntWritable
LongWritable
FloatWritable
Text
NullWritable
#自定义hadoop的数据类型？
程序员自定义的类型 实现Writable Comparable(compareto方法 int 0 1 -1 )
直接实现WritableCompareble
write(DataOutput out)
readFields(DataInput in)
compareto()
equals
hashcode
toString
注意：自定义类型中 toString方法 返回的内容，将会位置输出文件的格式
代码：
package com.qlh.day01; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.util.Objects; public class MyWritable implements WritableComparable<MyWritable> {
private Integer id;
private String name; public MyWritable() {
} public MyWritable(Integer id, String name) {
this.id = id;
this.name = name;
} public Integer getId() {
return id;
} public void setId(Integer id) {
this.id = id;
} public String getName() {
return name;
} public void setName(String name) {
this.name = name;
} @Override
public boolean equals(Object o) {
if (this == o) return true;
if (o == null || getClass() != o.getClass()) return false;
MyWritable that = (MyWritable) o;
return Objects.equals(id, that.id) &&
Objects.equals(name, that.name);
} @Override
public int hashCode() {
return Objects.hash(id, name);
} @Override
public int compareTo(MyWritable o) {
int result = id.compareTo(o.getId());
if (result ==0){
return name.compareTo(o.getName());
}
return id.compareTo(o.getId());
} @Override
public void write(DataOutput out) throws IOException {
out.write(id);
out.writeUTF(name);
} @Override
public void readFields(DataInput in) throws IOException {
id = in.readInt();
name = in.readUTF();
}
}
java代码
场景二：字符串是空串的应用场景
package com.lqh; import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class MyMapper1 extends Mapper<LongWritable, Text,Text, NullWritable> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
System.out.println(line);
String[] split = line.split(" "); // 将对象封装到Text中
Text k2 = new Text(split[0]);
NullWritable v2 = NullWritable.get();
context.write(k2,v2); }
}
MyMapper
package com.lqh; import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; /**
* 接收来自map中的key value
*/ public class MyReduce1 extends Reducer<Text, NullWritable,Text,NullWritable> {
@Override
protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
// 遍历集合
Text k3 = key;
NullWritable v3 = NullWritable.get();
context.write(k3,v3); }
}
MyReduce
package com.lqh; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; import java.io.IOException; public class MyReduceSubmit {
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
// 获取文件的位置
String inPath = "/hw/data1";
// 输出文件的位置
String outPath = "/zhulina3";
//
Configuration configuration = new Configuration();
// 创建一个Job作业
Job job = Job.getInstance(configuration, MyReduceSubmit.class.getName());
// 指定作业以jar包形式运行
job.setJarByClass(MyReduceSubmit.class); // InputFormat TextInputFormat 是inputFormat的子类
// 指定路径
Path path = new Path(inPath);
TextInputFormat.addInputPath(job,path); // Map
job.setMapperClass(MyMapper1.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(NullWritable.class); // shuffer // Reduce
job.setReducerClass(MyReduce1.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class); // 输出目录一定不能存在有 MapReduce动态创建
Path path1 = new Path(outPath);
FileSystem fileSystem = FileSystem.get(configuration);
fileSystem.delete(path1,true); // OutPutFormat
TextOutputFormat.setOutputPath(job,path1);
// 运行job作业
job.waitForCompletion(true); }
}
MayReduceSubmit
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>mr</artifactId>
<groupId>com.lqh</groupId>
<version>1.0-SNAPSHOT</version>
<relativePath>../mr/pom.xml</relativePath>
</parent>
<modelVersion>4.0.0</modelVersion> <artifactId>hadoop-hr</artifactId> <name>hadoop-hr</name>
<!-- FIXME change it to the project's website -->
<url>http://www.example.com</url> <properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
<baizhi-mainClass>com.lqh.MyReduceSubmit</baizhi-mainClass>
<target-host>192.168.253.11</target-host>
<target-position>/opt/install/hadoop-2.5.2</target-position> </properties> <dependencies>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.2</version>
</dependency> <dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.5.2</version>
</dependency> <dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.2</version>
</dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.5.2</version>
</dependency> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-common -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-common</artifactId>
<version>2.5.2</version>
</dependency>
</dependencies> <build>
<extensions>
<!--这个插件的作用是将windows打成的jar包scp到linux指定目录下-->
<extension>
<groupId>org.apache.maven.wagon</groupId>
<artifactId>wagon-ssh</artifactId>
<version>2.8</version>
</extension>
</extensions>
<plugins>
<!--打jar包-->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>2.3.2</version>
<!--打完jar包后产生main函数-->
<configuration>
<outputDirectory>${basedir}</outputDirectory>
<archive>
<manifest>
<mainClass>${baizhi-mainClass}</mainClass>
</manifest>
</archive>
</configuration>
</plugin> <plugin> <groupId>org.codehaus.mojo</groupId>
<artifactId>wagon-maven-plugin</artifactId>
<version>1.0</version>
<configuration>
<fromFile>${project.build.finalName}.jar</fromFile>
<url>scp://root:123456@${target-host}${target-position}</url>
<!--maven helpe就是将多个命令绑定在一起同时执行-->
<commands>
<!--杀死原来的进程-->
<command>pkill -f ${project.build.finalName}.jar</command>
<!--重新启动test.jar,程序的输出结果写到nohup.out文件中
nohup linux特有的不再控制台输出
-->
<!--因为存在服务器的重启之类的操作，wagon也支持使用shell命令，可以有多个command标签哦，根据先后顺序执行-->
<command>nohup ${target-position}/bin/yarn jar ${target-position}/${project.build.finalName}.jar >/root/nohup.out 2>&1 &</command>
</commands>
<!-- 显示运行命令的输出结果 -->
<displayCommandOutputs>true</displayCommandOutputs>
</configuration>
</plugin>
</plugins>
</build>
</project>
pom
注意一些细节：
在这个reduce中reduce只是起到了一个传递值的作用，并没有任何的业务逻辑
所以这个reduce 就会成为这个业务需求中的业务冗余。
MapReduce作业中Map,Reduce的一些细节问题
1.MapReduce中是可以没有Reduce
如果MapReduce中，只是对数据进行清洗，而不负责统计，去重的话，就没有Reduce
job.setNumReduceTasks(0); 在代码中指定这句代码
// job.setReducerClass(MyReducer.class);
// job.setOutputKeyClass(Text.class);
// job.setOutputValueClass(NullWritable.class);
2.MapReduce中有多少个Map?
1. 文本文件处理中，Map的数量由block决定。
3.MapReduce中有多少个Reduce?
1. Reduce个数可以设置的
默认情况 reduce的个数是 1
mapreduce.job.reduces 1
job.setNumReduceTasks(?);job.setNumReduceTasks(2); 可以指定数量
1. 为什么要设置多个Reduce？
提高MR的运行效率 map中的数量是有block决定的但是多个map对应一个reduce处理数据降低效率，所以要增加reduce的数量
2. 多个Reduce的输出结果是多个文件，可以再次进行Map的处理，进行汇总
3. Partion分区
由分区决定Map输出结果，交给那个Reduce处理。默认有HashPartitioner实现
k2.hashCode()%reduceNum(2) = 0,1
4. map选择reduce处理的自定义分区算法
/*123 R 大于3 在另一个Reduce */
123 在第一个reduce 中 4 在第二个reduce中
1. 自定义Partitioner
public class MyPartitioner<k2,v2> extends Partitioner<k2,v2> {
@Override
public int getPartition(k2 key, v2 value, int numPartitions) { String k = key.toString(); try{
int key_i = Integer.parseInt(k);
if(key_i<=3){
return 0;
}else{
return 1;
}
}catch(Exception e){
return -1;
}
} }
2. job作业设置
job.setPartitionerClass(MyPartitioner.class);
5.MapReduce中的计数器 Counter
自己定义计数器 书写在Map或者Reduce
context.getCounter("group-name","counter-name").increment(1);
public enum MyCounter {
MY_COUNTER
}
context.getCounter(MyCounter.MY_COUNTER).increment(1);
6. Combiner
Combiner是Map端的Reduce，提前Map端作合并，从而减少传输的数据，提高效率。
默认情况是Combiner关闭
job.setCombinerClass(MyReducer.class);
需求：网站经营数据的分析 （pv,uv）值
hadoop 学习笔记二的更多相关文章
- Hadoop-HBASE案例分析-Hadoop学习笔记<二>
之前有幸在MOOC学院抽中小象学院hadoop体验课. 这是小象学院hadoop2.X概述第八章的笔记 主要介绍HBase,一个分布式数据库的应用案例. 案例概况: 1)时间序列数据库(OpenTSD ...
- Hadoop学习笔记二
一.设置无密码sudo权限,不用在普通用户和root用户间来回切换 chmod u+w /etc/sudoers vim /etc/sudoers #首行添加如下的内容: hadoop ALL=(ro ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习笔记(2)
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记(2) ——解读Hello World
Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...
- Hadoop学习笔记—5.自定义类型处理手机上网日志
转载自http://www.cnblogs.com/edisonchou/p/4288737.html Hadoop学习笔记—5.自定义类型处理手机上网日志 一.测试数据:手机上网日志 1.1 关于这 ...
- hadoop学习笔记-目录
以下是hadoop学习笔记的顺序: hadoop学习笔记(一):概念和组成 hadoop学习笔记(二):centos7三节点安装hadoop2.7.0 hadoop学习笔记(三):hdfs体系结构和读 ...
- Hadoop学习笔记(9) ——源码初窥
Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例.接下来其实就有两条路可走了,一条是继续 ...
- Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclip ...
随机推荐
- 启动Django报错:SyntaxError: Generator expression must be parenthesized 解决办法
这是因为版本不兼容所导致的. 此错误已知与Python问题#32012相关.基于Django 1.11.16及以下的项目将在Python 3.7启动时引发此异常.此问题的补丁已合并到Django 2. ...
- mybatis学习日志二
一.动态sql语句 if语句 if+where语句 if+set语句 choose(when,otherwise)语句 trim语句 sql片段 foreach语句 总结 bean部分的User类代码 ...
- CentOS7 yum方式安装MySQL5.7 + 远程连接
1 下载并安装MySQL官方的 Yum Repository [root@localhost ~]# wget -i -c http://dev.mysql.com/get/mysql57-commu ...
- 【转】Java 开发必会的 Linux 命令
转自:https://www.cnblogs.com/zhuawang/p/5212809.html 作为一个Java开发人员,有些常用的Linux命令必须掌握.即时平时开发过程中不使用Linux(U ...
- POI实现excel的导入导出
引入依赖 <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</arti ...
- C# 对SQlServer访问的完整类
using System; using System.Collections.Generic; using System.Collections.Specialized; using System.C ...
- MongoDB - 文档之间的关系 + _sort和投影
1. 文档对象之间的关系 一对一 (one TO one) - 例如: 夫妻 (一个丈夫 对应 一个妻子) - 在MongoDB中, 可以通过内嵌文档的形式来体现出一对一的关系 演示: 首先在 my_ ...
- docker安装与配置nginx详细过程
注:大鸟飞过,此方式只用于快速搭建使用 第一步 pull nginx 命令:docker pull nginx 第二步 启动nginx 命令:docker run --name nginx -p 80 ...
- rabbitMQ重复消费（结合死循环重发那一篇看）
/** * 重复消费逻辑判断与处理 */ @Component public class RepeatMqConsumer { /** * 服务对象 */ private int count=1; @ ...
- Java通过网络图片之地址，下载到服务器
@RequestMapping("/downloadTableQrcode") public String downloadTableQrcode(HttpServletReque ...