hadoop调优之一：概述

hadoop集群性能低下的常见原因

（一）硬件环境

1、CPU/内存不足，或未充分利用

2、网络原因

3、磁盘原因

（二）map任务原因

1、输入文件中小文件过多，导致多次启动和停止JVM进程。可以设置JVM重用。

2、数据倾斜：大文件且不可分割，导致处理这些文件的map需要很长时间。

3、数据本地化效果差。

（三）reduce任务的原因

1、reduce任务数量过大或过小

2、数据倾斜：一部分key的记录数量太大，导致某些reduce执行过慢

3、缓慢的shuffle和排序

（四）hadoop的配置不当



（五）JAVA代码及JVM调优

一、硬件调优

1、CPU/内存使用情况vmstat、top

$ vmstat -S M 5

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st

 0  0      0    566    232    239    0    0    65   824   59   39  4  1 93  1  0

 0  3      0    366    232    432    0    0     0 25929 2638 2776 14 14 43 28  0

 2  1      0    241    232    543    0    0    26 38110 2123 1316 75 11  0 14  0

 3  0      0     78    232    543    0    0     0 11784 1558 1028 80  4 16  0  0

 0  0      0    189    232    543    0    0     0   142 1052  933 70  3 27  1  0

 0  0      0    185    232    543    0    0     0    30  500  589 15  1 84  0  0

 2  0      0    180    232    544    0    0     0     3  502  595 12  1 87  0  0

 0  0      0    508    232    293    0    0     0    74 1161 1036 77  5 18  0  0

 0  0      0    626    233    175    0    0     0   150  385  447  2  1 97  0  0

以上各个字段的意思分别是：

好了，命令介绍完毕，现在开始实战讲解每个参数的意思。

r 表示运行队列(就是说多少个进程真的分配到CPU)，当这个值超过了CPU数目，就会出现CPU瓶颈 了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队 列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

free   空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。

buff   Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M

cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)

si  每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

so  每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

bi  块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

in 每秒CPU的中断次数，包括时间中断

cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的 数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或 者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核
空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的 时间少了，CPU没有充分利用，是不可取的。

us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

id  空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

wt 等待IO CPU时间。

2、网络

（1）ethtool：检查网卡是否工作正常，是否全双工，速度设置是否合理等。

（2）sar：比较各个网卡的性能

# sar -n DEV 3 2

Linux 2.6.32-431.23.3.el6.x86_64 (slave1)       03/13/2015      _x86_64_        (1 CPU)

08:41:11 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s

08:41:14 PM        lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00

08:41:14 PM      eth0     11.71     10.70      1.05      4.47      0.00      0.00      0.00

08:41:14 PM      eth1    144.48      0.00      5.93      0.00      0.00      0.00      0.00

08:41:14 PM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s

08:41:17 PM        lo     28.04     28.04      3.90      3.90      0.00      0.00      0.00

08:41:17 PM      eth0    183.45   3765.20     27.06    905.80      0.00      0.00      0.00

08:41:17 PM      eth1    179.05     31.76      7.48     70.62      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s

Average:           lo     13.95     13.95      1.94      1.94      0.00      0.00      0.00

Average:         eth0     97.14   1878.49     13.99    452.86      0.00      0.00      0.00

Average:         eth1    161.68     15.80      6.70     35.13      0.00      0.00      0.00

（3）iperf：检查2台机器间的网络带宽

其中一台充当服务器：

# iperf -s

------------------------------------------------------------

Server listening on TCP port 5001

TCP window size: 85.3 KByte (default)

------------------------------------------------------------

[  4] local 10.171.94.155 port 5001 connected with 10.171.29.191 port 46455

------------------------------------------------------------

Client connecting to 10.171.29.191, TCP port 5001

TCP window size:  143 KByte (default)

------------------------------------------------------------

[  6] local 10.171.94.155 port 52215 connected with 10.171.29.191 port 5001

[ ID] Interval       Transfer     Bandwidth

[  6]  0.0-10.0 sec   664 MBytes   557 Mbits/sec

[  4]  0.0-10.0 sec   466 MBytes   390 Mbits/sec

另一台充当客户端：

# iperf -c 10.171.94.155 -f m -d

------------------------------------------------------------

Server listening on TCP port 5001

TCP window size: 0.08 MByte (default)

------------------------------------------------------------

------------------------------------------------------------

Client connecting to 10.171.94.155, TCP port 5001

TCP window size: 0.10 MByte (default)

------------------------------------------------------------

[  4] local 10.171.29.191 port 46455 connected with 10.171.94.155 port 5001

[  5] local 10.171.29.191 port 5001 connected with 10.171.94.155 port 52215

[ ID] Interval       Transfer     Bandwidth

[  4]  0.0-10.0 sec   466 MBytes   390 Mbits/sec

[  5]  0.0-10.0 sec   664 MBytes   555 Mbits/sec

（4）tcpdump：检查数据包的传输情况

# tcpdump port 8649

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode

listening on eth0, link-type EN10MB (Ethernet), capture size 65535 bytes

20:43:11.396729 IP master.38498 > slave1.8649: UDP, length 136

20:43:11.396746 IP master.38498 > slave1.8649: UDP, length 64

20:43:11.397101 IP master.38498 > slave1.8649: UDP, length 136

20:43:11.397105 IP master.38498 > slave1.8649: UDP, length 64

20:43:11.397107 IP master.38498 > slave1.8649: UDP, length 136

20:43:11.397108 IP master.38498 > slave1.8649: UDP, length 80

20:43:11.397109 IP master.38498 > slave1.8649: UDP, length 64

20:43:11.397110 IP master.38498 > slave1.8649: UDP, length 144

20:43:11.397111 IP master.38498 > slave1.8649: UDP, length 68

20:43:11.397112 IP master.38498 > slave1.8649: UDP, length 156

20:43:11.397114 IP master.38498 > slave1.8649: UDP, length 188

20:43:11.397115 IP master.38498 > slave1.8649: UDP, length 92

20:43:11.397116 IP master.38498 > slave1.8649: UDP, length 88

还可以使用host等参数。

3、磁盘健康情况

（1）iostart

# iostat

Linux 2.6.32-431.17.1.el6.x86_64 (master)       03/13/2015      _x86_64_        (1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           4.73    0.00    3.07   33.99    0.00   58.22

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn

xvda            206.31       292.48      2301.51  176511452 1388963336

xvdb             10.24        69.64       645.59   42029194  389614304

[root@master ~]# 

[root@master ~]# 

[root@master ~]# iostat -m -x -d 5

Linux 2.6.32-431.17.1.el6.x86_64 (master)       03/13/2015      _x86_64_        (1 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util

xvda              0.16   115.94   34.57  171.74     0.14     1.12    12.57     4.92   23.83   1.87  38.49

xvdb              0.00    71.55    1.09    9.14     0.03     0.32    69.88     0.89   87.38   0.89   0.91

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util

xvda              0.00     0.00    0.00    0.81     0.00     0.00     8.00     0.00    4.75   1.75   0.14

xvdb              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

（2）dmesg

输出详细的错误信息，常见的信息如下：

type=1400 audit(1425645012.364:7): avc:  denied  { setattr } for  pid=1318 comm="rrdtool" name="fontconfig" dev=xvda1 ino=1049117 scontext=unconfined_u:system_r:httpd_t:s0 tcontext=system_u:object_r:fonts_cache_t:s0 tclass=dir

二、map端调优

1、输入文件中小文件过多，导致多次启动和停止JVM进程。



可以设置JVM重用。或者作数据预处理，将小文件合并。



2、数据倾斜：大文件且不可分割，导致处理这些文件的map需要很长时间。



尽量避免这种情况出现，可以通过预处理解决。



3、数据本地化效果差。



将数据均衡的分布到集群中：



start-balancer.sh



4、检查是否某天数据量突然暴增





三、reduce端调优



1、不使用reduce

map结束后向reduce传输结果时需要经过shuffle阶段及排序，并通过网络传输数据，此过程引起较大的损耗，因此，在满足一定条件的情况下，可以将reduce任务设置为0。

job.setNumReduceTasks(0);

注意必须显示的定义数量为0，否则默认情况下，会有一个reduce任务，类为Reduce，此类将输入KV直接作为输出KV。



2、过滤和投影

如果一定要有reduce过程，那下一步就是尽量减少map输出的数据量，一方面可以减少网络传输数据，另一方面可以减少reduce需要处理的数据。

减少map的输出数据量有2种常见的方法：

（1）过滤：将对最终结果无影响的整个记录删除。

（2）投影：删除记录中某些对最终结果无影响的项。



3、使用combiner

使用combiners可以在map阶段通过合并数据，从而减少向reduce传输数据。



4、优化比较器

此方法可以提高数据排序顺序



5、减少倾斜数据

由于map的输出中某个key对应大量的value值，从而导致处理这个key的reduce任务所耗时间远远大于其它reduce。



6、reduce的数量调整

将reduce的数量调整为比集客reduce slot总数少一点，这可以保证充分利用集群的性能，又可容忍一定的机器错误。

四、hadoop配置不当

充分了解hadoop的配置文件，为集群选择最佳配置。

参考：http://blog.csdn.net/jediael_lu/article/details/38680013



五、java调优

参考：？？