Hadoop生态圈-Azkaban部署实战

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。　　　　　　

 一.Azkaban部署流程

1>.上传azkaban程序并创建解压目录

  1. [yinzhengjie@s101 data]$ pwd
  2. /home/yinzhengjie/data
  3. [yinzhengjie@s101 data]$ ll
  4. total
  5. -rw-r--r--  yinzhengjie yinzhengjie   Apr  : azkaban-exec-server-3.46..tar.gz
  6. -rw-r--r--  yinzhengjie yinzhengjie      Apr  : azkaban-hadoop-security-plugin-3.46..tar.gz
  7. -rw-r--r--  yinzhengjie yinzhengjie  Apr  : azkaban-plugins-master.zip
  8. -rw-r--r--  yinzhengjie yinzhengjie   Apr  : azkaban-solo-server-3.46..tar.gz
  9. -rw-r--r--  yinzhengjie yinzhengjie   Apr  : azkaban-web-server-3.46..tar.gz
  10. -rw-r--r--  yinzhengjie yinzhengjie      Nov    create-all-sql-3.46..sql
  11. [yinzhengjie@s101 data]$
  12. [yinzhengjie@s101 data]$ mkdir /soft/azkaban
  13. [yinzhengjie@s101 data]$

2>.分别解压文件到/soft/azkaban中

  1. [yinzhengjie@s101 data]$ tar -xzf azkaban-exec-server-3.46..tar.gz -C /soft/azkaban/
  2. [yinzhengjie@s101 data]$ tar -xzf azkaban-web-server-3.46..tar.gz -C /soft/azkaban/
  3. [yinzhengjie@s101 data]$

3>.进入到mysql命令行并创建数据库

  1. [yinzhengjie@s101 data]$ mysql -uroot -pyinzhengjie
  2. Warning: Using a password on the command line interface can be insecure.
  3. Welcome to the MySQL monitor.  Commands end with ; or \g.
  4. Your MySQL connection id is
  5. Server version: 5.6. MySQL Community Server (GPL)
  6.  
  7. Copyright (c) , , Oracle and/or its affiliates. All rights reserved.
  8.  
  9. Oracle is a registered trademark of Oracle Corporation and/or its
  10. affiliates. Other names may be trademarks of their respective
  11. owners.
  12.  
  13. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
  14.  
  15. mysql> create database yinzhengjie_azkaban;
  16. Query OK,  row affected (0.00 sec)
  17.  
  18. mysql> use yinzhengjie_azkaban;
  19. Database changed
  20. mysql> source /home/yinzhengjie/data/create-all-sql-3.46..sql
  21. Query OK,  rows affected (0.03 sec)
  22.  
  23. Query OK,  rows affected (0.00 sec)
  24.  
  25. Query OK,  rows affected (0.01 sec)
  26.  
  27. Query OK,  rows affected (0.00 sec)
  28. Records:   Duplicates:   Warnings: 
  29.  
  30. Query OK,  rows affected (0.01 sec)
  31. Records:   Duplicates:   Warnings: 
  32.  
  33. Query OK,  rows affected (0.00 sec)
  34. Records:   Duplicates:   Warnings: 
  35.  
  36. Query OK,  rows affected (0.01 sec)
  37. Records:   Duplicates:   Warnings: 
  38.  
  39. Query OK,  rows affected (0.06 sec)
  40. Records:   Duplicates:   Warnings: 
  41.  
  42. Query OK,  rows affected (0.13 sec)
  43. Records:   Duplicates:   Warnings: 
  44.  
  45. Query OK,  rows affected (0.22 sec)
  46.  
  47. Query OK,  rows affected (0.15 sec)
  48. Records:   Duplicates:   Warnings: 
  49.  
  50. Query OK,  rows affected (0.18 sec)
  51.  
  52. Query OK,  rows affected (0.13 sec)
  53. Records:   Duplicates:   Warnings: 
  54.  
  55. Query OK,  rows affected (0.17 sec)
  56. Records:   Duplicates:   Warnings: 
  57.  
  58. Query OK,  rows affected (0.03 sec)
  59. Records:   Duplicates:   Warnings: 
  60.  
  61. Query OK,  rows affected (0.06 sec)
  62.  
  63. Query OK,  rows affected (0.33 sec)
  64. Records:   Duplicates:   Warnings: 
  65.  
  66. Query OK,  rows affected (0.01 sec)
  67.  
  68. Query OK,  rows affected (0.01 sec)
  69. Records:   Duplicates:   Warnings: 
  70.  
  71. Query OK,  rows affected (0.22 sec)
  72.  
  73. Query OK,  rows affected (0.12 sec)
  74. Records:   Duplicates:   Warnings: 
  75.  
  76. Query OK,  rows affected (0.09 sec)
  77.  
  78. Query OK,  rows affected (0.10 sec)
  79. Records:   Duplicates:   Warnings: 
  80.  
  81. Query OK,  rows affected (0.17 sec)
  82.  
  83. Query OK,  rows affected (0.18 sec)
  84.  
  85. Query OK,  rows affected (0.14 sec)
  86. Records:   Duplicates:   Warnings: 
  87.  
  88. Query OK,  rows affected (0.12 sec)
  89.  
  90. Query OK,  rows affected (0.04 sec)
  91. Records:   Duplicates:   Warnings: 
  92.  
  93. Query OK,  rows affected (0.08 sec)
  94.  
  95. Query OK,  rows affected (0.17 sec)
  96. Records:   Duplicates:   Warnings: 
  97.  
  98. Query OK,  rows affected (0.16 sec)
  99.  
  100. Query OK,  rows affected (0.13 sec)
  101. Records:   Duplicates:   Warnings: 
  102.  
  103. Query OK,  rows affected (0.13 sec)
  104.  
  105. Query OK,  rows affected (0.10 sec)
  106. Records:   Duplicates:   Warnings: 
  107.  
  108. Query OK,  rows affected (0.04 sec)
  109.  
  110. Query OK,  rows affected,  warning (0.00 sec)
  111.  
  112. Query OK,  rows affected,  warning (0.00 sec)
  113.  
  114. Query OK,  rows affected,  warning (0.00 sec)
  115.  
  116. Query OK,  rows affected,  warning (0.00 sec)
  117.  
  118. Query OK,  rows affected,  warning (0.00 sec)
  119.  
  120. Query OK,  rows affected,  warning (0.00 sec)
  121.  
  122. Query OK,  rows affected,  warning (0.00 sec)
  123.  
  124. Query OK,  rows affected,  warning (0.00 sec)
  125.  
  126. Query OK,  rows affected,  warning (0.00 sec)
  127.  
  128. Query OK,  rows affected,  warning (0.00 sec)
  129.  
  130. Query OK,  rows affected,  warning (0.00 sec)
  131.  
  132. Query OK,  rows affected (0.19 sec)
  133.  
  134. Query OK,  rows affected (0.23 sec)
  135.  
  136. Query OK,  rows affected (0.08 sec)
  137.  
  138. Query OK,  rows affected (0.13 sec)
  139.  
  140. Query OK,  rows affected (0.01 sec)
  141.  
  142. Query OK,  rows affected (0.06 sec)
  143.  
  144. Query OK,  rows affected (0.19 sec)
  145.  
  146. Query OK,  rows affected (0.27 sec)
  147.  
  148. Query OK,  rows affected (0.18 sec)
  149.  
  150. Query OK,  rows affected (0.16 sec)
  151.  
  152. Query OK,  rows affected (0.17 sec)
  153.  
  154. Query OK,  rows affected (0.00 sec)
  155.  
  156. Query OK,  rows affected (0.19 sec)
  157.  
  158. mysql> exit;
  159. Bye
  160. [yinzhengjie@s101 data]$

4>.创建SSL配置（完成下述工作后,将在当前目录生成 keystore 证书文件，需要输出初始密码，选择国家，在输入确认字母y其他按回车即可）

  1. [yinzhengjie@s101 data]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
  2. Enter keystore password:
  3. Re-enter new password:
  4. What is your first and last name?
  5.   [Unknown]:
  6. What is the name of your organizational unit?
  7.   [Unknown]:
  8. What is the name of your organization?
  9.   [Unknown]:
  10. What is the name of your City or Locality?
  11.   [Unknown]:
  12. What is the name of your State or Province?
  13.   [Unknown]:
  14. What is the two-letter country code for this unit?
  15.   [Unknown]:  CN
  16. Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
  17.   [no]:  y
  18.  
  19. Enter key password for <jetty>
  20.     (RETURN if same as keystore password):
  21. [yinzhengjie@s101 data]$
  22. [yinzhengjie@s101 data]$ ll | grep keystore
  23. -rw-rw-r--  yinzhengjie yinzhengjie       Jun  : keystore
  24. [yinzhengjie@s101 data]$

5>.将keystore文件拷贝到web文件夹下

  1. [yinzhengjie@s101 data]$ ll | grep keystore
  2. -rw-rw-r--  yinzhengjie yinzhengjie       Jun  : keystore
  3. [yinzhengjie@s101 data]$ cp keystore /soft/azkaban/azkaban-web-server-3.46./
  4. [yinzhengjie@s101 data]$

6>.编辑配置文件【azkaban.properties】

  1. [yinzhengjie@s101 data]$ more /soft/azkaban/azkaban-web-server-3.46./conf/azkaban.properties
  2. #Azkaban Personalization Settings
  3. #服务器UI名称,用于服务器上方显示的名字
  4. azkaban.name=yinzhengjie
  5. #描述
  6. azkaban.label=My Local Azkaban
  7. #UI颜色
  8. azkaban.color=#FF3601
  9. #指定首页路径
  10. azkaban.default.servlet.path=/index
  11. #默认根web目录
  12. web.resource.dir=/soft/azkaban/azkaban-web-server-3.46./web/
  13. #默认时区,已改为亚洲/上海 默认为美国
  14. default.timezone.id=Asia/Shanghai
  15.  
  16. #Azkaban UserManager class
  17. #用户权限管理默认类
  18. user.manager.class=azkaban.user.XmlUserManager
  19. #用户配置,具体配置参加下文
  20. user.manager.xml.file=/soft/azkaban/azkaban-web-server-3.46./conf/azkaban-users.xml
  21.  
  22. #Loader for projects
  23. # global配置文件所在位置
  24. executor.global.properties=/soft/azkaban/azkaban-web-server-3.46./conf/global.properties
  25. azkaban.project.dir=projects
  26. #数据库类型
  27. database.type=mysql
  28. #端口号
  29. mysql.port=
  30. #数据库连接IP
  31. mysql.host=s101
  32. #数据库实例名
  33. mysql.database=azkaban
  34. #数据库用户名
  35. mysql.user=root
  36. #数据库密码
  37. mysql.password=yinzhengjie
  38. #最大连接数
  39. mysql.numconnections=
  40.  
  41. # Velocity dev mode
  42. #关闭快速开发模式
  43. velocity.dev.mode=false
  44. # Jetty服务器属性.
  45. #最大线程数
  46. jetty.maxThreads=
  47. #Jetty SSL端口
  48. jetty.ssl.port=
  49. #Jetty端口
  50. jetty.port=
  51. #SSL文件名
  52. jetty.keystore=keystore
  53. #SSL文件密码
  54. jetty.password=yinzhengjie
  55. #Jetty主密码 与 keystore文件相同
  56. jetty.keypassword=yinzhengjie
  57. #SSL文件名
  58. jetty.truststore=keystore
  59. # SSL文件密码
  60. jetty.trustpassword=yinzhengjie
  61. # 执行服务器属性
  62. #执行服务器端口
  63. executor.port=
  64.  
  65. # 邮件设置
  66. #发送邮箱
  67. mail.sender=xxxxxxxx@.com
  68. #发送邮箱smtp地址
  69. mail.host=smtp..com
  70. #发送邮件时显示的名称
  71. mail.user=xxxxxxxx
  72. #邮箱密码
  73. mail.password=**********
  74. #任务失败时发送邮件的地址
  75. job.failure.email=xxxxxxxx@.com
  76. #任务成功时发送邮件的地址
  77. job.success.email=xxxxxxxx@.com
  78. lockdown.create.projects=false
  79. #缓存目录
  80. cache.directory=cache
  81.  
  82. # JMX stats
  83. jetty.connector.stats=true
  84. executor.connector.stats=true
  85. # Azkaban JobTypes 插件配置
  86. azkaban.jobtype.plugin.dir=plugins/jobtypes
  87. [yinzhengjie@s101 data]$

　　以上代码只是对该配置文件的一个详细说明，不建议在这个配置文件中写中文！在实际配置中，需要将这个文件拷贝两份，分别放在web和exec目录中，实际使用配置如下：

  1. [yinzhengjie@s101 ~]$ more /soft/azkaban/azkaban-web-server-3.46./conf/azkaban.properties
  2. # Azkaban Personalization Settings
  3. azkaban.name=yinzhengjie
  4. azkaban.label=My Local Azkaban
  5. azkaban.color=#FF3601
  6. azkaban.default.servlet.path=/index
  7. web.resource.dir=/soft/azkaban/azkaban-web-server-3.46./web/
  8. default.timezone.id=Asia/Shanghai
  9. # Azkaban UserManager class
  10. user.manager.class=azkaban.user.XmlUserManager
  11. user.manager.xml.file=/soft/azkaban/azkaban-web-server-3.46./conf/azkaban-users.xml
  12. # Loader for projects
  13. executor.global.properties=/soft/azkaban/azkaban-web-server-3.46./conf/global.properties
  14. azkaban.project.dir=projects
  15. database.type=mysql
  16. mysql.port=
  17. mysql.host=s101
  18. mysql.database=yinzhengjie_azkaban
  19. mysql.user=root
  20. mysql.password=yinzhengjie
  21. mysql.numconnections=
  22. # Velocity dev mode
  23. velocity.dev.mode=false
  24. # Azkaban Jetty server properties.
  25. jetty.use.ssl=false
  26. jetty.maxThreads=
  27. jetty.port=
  28. # Azkaban Executor settings
  29. executor.port=
  30. # mail settings
  31. mail.sender=
  32. mail.host=
  33. # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
  34. # enduser -> myazkabanhost: -> proxy -> localhost:
  35. # when this parameters set then these parameters are used to generate email links.
  36. # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
  37. # azkaban.webserver.external_hostname=myazkabanhost.com
  38. # azkaban.webserver.external_ssl_port=
  39. # azkaban.webserver.external_port=
  40. job.failure.email=
  41. job.success.email=
  42. lockdown.create.projects=false
  43. cache.directory=cache
  44. # JMX stats
  45. jetty.connector.stats=true
  46. executor.connector.stats=true
  47. # Azkaban plugin settings
  48. azkaban.jobtype.plugin.dir=plugins/jobtypes
  49. [yinzhengjie@s101 ~]$

[yinzhengjie@s101 ~]$ more /soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban.properties

  1. [yinzhengjie@s101 ~]$ more /soft/azkaban/azkaban-exec-server-3.46./conf/azkaban.properties
  2. # Azkaban Personalization Settings
  3. azkaban.name=yinzhengjie
  4. azkaban.label=My Local Azkaban
  5. azkaban.color=#FF3601
  6. azkaban.default.servlet.path=/index
  7. web.resource.dir=/soft/azkaban/azkaban-web-server-3.46./web/
  8. default.timezone.id=Asia/Shanghai
  9. # Azkaban UserManager class
  10. user.manager.class=azkaban.user.XmlUserManager
  11. user.manager.xml.file=/soft/azkaban/azkaban-web-server-3.46./conf/azkaban-users.xml
  12. # Loader for projects
  13. executor.global.properties=/soft/azkaban/azkaban-web-server-3.46./conf/global.properties
  14. azkaban.project.dir=projects
  15. database.type=mysql
  16. mysql.port=
  17. mysql.host=s101
  18. mysql.database=yinzhengjie_azkaban
  19. mysql.user=root
  20. mysql.password=yinzhengjie
  21. mysql.numconnections=
  22. # Velocity dev mode
  23. velocity.dev.mode=false
  24. # Azkaban Jetty server properties.
  25. jetty.use.ssl=false
  26. jetty.maxThreads=
  27. jetty.port=
  28. # Azkaban Executor settings
  29. executor.port=
  30. # mail settings
  31. mail.sender=
  32. mail.host=
  33. # User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
  34. # enduser -> myazkabanhost: -> proxy -> localhost:
  35. # when this parameters set then these parameters are used to generate email links.
  36. # if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
  37. # azkaban.webserver.external_hostname=myazkabanhost.com
  38. # azkaban.webserver.external_ssl_port=
  39. # azkaban.webserver.external_port=
  40. job.failure.email=
  41. job.success.email=
  42. lockdown.create.projects=false
  43. cache.directory=cache
  44. # JMX stats
  45. jetty.connector.stats=true
  46. executor.connector.stats=true
  47. # Azkaban plugin settings
  48. azkaban.jobtype.plugin.dir=plugins/jobtypes
  49. [yinzhengjie@s101 ~]$

[yinzhengjie@s101 ~]$ more /soft/azkaban/azkaban-exec-server-3.46.0/conf/azkaban.properties

7>.修改用户配置文件【azkaban-users.xml】

  1. [yinzhengjie@s101 data]$ more /soft/azkaban/azkaban-web-server-3.46./conf/azkaban-users.xml
  2. <azkaban-users>
  3.     <user username="azkaban" password="yinzhengjie" roles="admin" groups="azkaban" />
  4.     <user username="metrics" password="yinzhengjie" roles="metrics"/>
  5.     <user username="admin" password="yinzhengjie" roles="admin,metrics" />
  6.     <role name="admin" permissions="ADMIN" />
  7.     <role name="metrics" permissions="METRICS"/>
  8. </azkaban-users>
  9. [yinzhengjie@s101 data]$

8>.创建global.properties

  1. [yinzhengjie@s101 data]$ touch /soft/azkaban/azkaban-web-server-3.46./conf/global.properties
  2. [yinzhengjie@s101 data]$

9>.编写启动脚本

  1. [yinzhengjie@s101 ~]$ more /usr/local/bin/azweb.sh
  2. #!/bin/bash
  3. #@author :yinzhengjie
  4. #blog:http://www.cnblogs.com/yinzhengjie
  5. #EMAIL:y1053419035@qq.com
  6.  
  7. #判断用户是否传参
  8. if [ $# -ne  ];then
  9.     echo "无效参数，用法为: $0  {start|stop}"
  10.     exit
  11. fi
  12.  
  13. #获取用户输入的命令
  14. cmd=$
  15. case $cmd in
  16.     start)
  17.         cd /soft/azkaban
  18.         /soft/azkaban/azkaban-web-server-3.46./bin/start-web.sh
  19.         ;;
  20.     stop)
  21.         cd /soft/azkaban
  22.         /soft/azkaban/azkaban-web-server-3.46./bin/shutdown-web.sh
  23.         ;;
  24.     *)
  25.         echo "无效参数，用法为: $0  {start|stop}"
  26.         exit
  27.         ;;
  28. esac
  29. echo ========= azweb $cmd =============
  30. [yinzhengjie@s101 ~]$

web端启动脚本（/usr/local/bin/azweb.sh）

  1. [yinzhengjie@s101 ~]$ more /usr/local/bin/azexec.sh
  2. #!/bin/bash
  3. #@author :yinzhengjie
  4. #blog:http://www.cnblogs.com/yinzhengjie
  5. #EMAIL:y1053419035@qq.com
  6.  
  7. #判断用户是否传参
  8. if [ $# -ne  ];then
  9.     echo "无效参数，用法为: $0  {start|stop}"
  10.     exit
  11. fi
  12.  
  13. #获取用户输入的命令
  14. cmd=$
  15. case $cmd in
  16.     start)
  17.         cd /soft/azkaban
  18.         /soft/azkaban/azkaban-exec-server-3.46./bin/start-exec.sh
  19.         ;;
  20.     stop)
  21.         cd /soft/azkaban
  22.         /soft/azkaban/azkaban-exec-server-3.46./bin/shutdown-exec.sh
  23.         ;;
  24.     *)
  25.         echo "无效参数，用法为: $0  {start|stop}"
  26.         exit
  27.         ;;
  28. esac
  29. echo ========= azexec $cmd =============
  30. [yinzhengjie@s101 ~]$

exec端启动脚本（/usr/local/bin/azexec.sh）

10>.启动服务（启动web和executor）

  1. [yinzhengjie@s101 ~]$ jps
  2.  Jps
  3. [yinzhengjie@s101 ~]$
  4. [yinzhengjie@s101 ~]$ azweb.sh start
  5. ========= azweb start =============
  6. [yinzhengjie@s101 ~]$ azexec.sh start
  7. ========= azexec start =============
  8. [yinzhengjie@s101 ~]$ jps
  9.  AzkabanExecutorServer
  10.  AzkabanWebServer
  11.  Jps
  12. [yinzhengjie@s101 ~]$ netstat -untalp | grep
  13. (Not all processes could be identified, non-owned process info
  14.  will not be shown, you would have to be root to see it all.)
  15. tcp6              :::                 :::*                    LISTEN      /java
  16. [yinzhengjie@s101 ~]$

11>.测试azkaban连接

　　输入用户名和密码信息：

　　登录成功会有以下页面：

 二. Azkaban防坑小技巧

1>.job文件有空格

　　解决方案：

　　　　　　修改command.job配置文件，将里面多余的空格删除掉！然后重新上传job任务。

2>.Missing required property 'azkaban.native.lib'

　　解决方案：

  1. [yinzhengjie@s101 ~]$ grep azkaban.jobtype.plugin.dir /soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban.properties
  2. azkaban.jobtype.plugin.dir=/soft/azkaban/azkaban-exec-server-3.46.0/plugins/jobtypes/
  3. [yinzhengjie@s101 ~]$
  4. [yinzhengjie@s101 ~]$ grep azkaban.jobtype.plugin.dir  /soft/azkaban/azkaban-exec-server-3.46.0/conf/azkaban.properties
  5. azkaban.jobtype.plugin.dir=/soft/azkaban/azkaban-exec-server-3.46.0/plugins/jobtypes/
  6. [yinzhengjie@s101 ~]$

编辑“azkaban.properties” 配置文件，然后需要重启Azkaban服务！

3>.

4>.

Hadoop生态圈-Azkaban部署实战的更多相关文章

  1. Hadoop生态圈-Oozie部署实战

    Hadoop生态圈-Oozie部署实战 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Oozie简介 1>.什么是Oozie Oozie英文翻译为:驯象人.一个基于工作流 ...

  2. Hadoop生态圈-Azkaban实战之Command类型执行指定脚本

    Hadoop生态圈-Azkaban实战之Command类型执行指定脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.服务端测试代码(别忘记添加权限哟!) [yinzh ...

  3. Hadoop生态圈-Azkaban实战之Command类型多job工作流flow

    Hadoop生态圈-Azkaban实战之Command类型多job工作流flow 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Azkaban内置的任务类型支持command.ja ...

  4. Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗

    Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 如果你没有Hadoop集群的话也没有关系,我这里给出当时我 ...

  5. Hadoop生态圈-Azkaban实现hive脚本执行

    Hadoop生态圈-Azkaban实现hive脚本执行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客中在HDFS分布式系统取的数据,而这个数据的是有之前我通过MapRed ...

  6. Hadoop生态圈-Sqoop部署以及基本使用方法

    Hadoop生态圈-Sqoop部署以及基本使用方法 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与 ...

  7. Hadoop生态圈-zookeeper完全分布式部署

    Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参 ...

  8. Hadoop生态圈-单点登录框架之CAS（Central Authentication Service）部署

    Hadoop生态圈-单点登录框架之CAS(Central Authentication Service)部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.CAS简介 CAS( ...

  9. Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行

    Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在我的CDH5.15.1集群中,默 ...

随机推荐

  1. 初识TPOT：一个基于Python的自动化机器学习开发工具

    1. TPOT介绍 一般来讲,创建一个机器学习模型需要经历以下几步: 数据预处理 特征工程 模型选择 超参数调整 模型保存 本文介绍一个基于遗传算法的快速模型选择及调参的方法,TPOT:一种基于Pyt ...

  2. libgdx学习记录20——多线程MultiThread资源处理

    在libgdx中,一般的逻辑流程都在rende()函数中执行,这个函数是由opengl的渲染线程调用的,一般的图形显示和逻辑处理都在这个线程中. 一般情形下,在这个线程中处理就行了.但是当某些逻辑处理 ...

  3. [BZOJ3693]圆桌会议[霍尔定理+线段树]

    题意 题目链接 分析 又是一个二分图匹配的问题,考虑霍尔定理. 根据套路我们知道只需要检查 "区间的并是一段连续的区间" 这些子集. 首先将环倍长.考虑枚举答案的区间并的右端点 \ ...

  4. 牛客OI周赛4-提高组-C-战争[并查集]

    题意 一个长度为 \(n\) 的序列,每个权值互不相同,给出形如 \(l,r,p\) 的信息表示 \([l,r]\) 区间中最小的数是 \(p\) ,问第几个信息开始出现矛盾. \(n\leq 5 \ ...

  5. R绘图 第八篇：绘制饼图（ggplot2）

    geom_bar()函数不仅可以绘制条形图,还能绘制饼图,跟绘制条形图的区别是坐标系不同,绘制饼图使用的坐标系polar,并且设置theta="y": coord_polar(th ...

  6. .NET Core容器化开发系列（零）——计划

    .NET Core相当完善的跨平台特性以及其轻量化的底层接口为我们能顺畅进行微服务开发提供了非常棒的基础. 作为支撑微服务最常见的基础技术--容器化将是本系列的核心内容. 接下来我计划用一个月左右的时 ...

  7. Vxlan抓包

    实验目的:验证Openstack  vxlan组网模式验证虚拟机数据是否通过物理网卡流出 一. 同网段不同主机间虚拟机通讯 (同网段通讯直接通过物理机隧道口链接对端物理机隧道口,不需要通过网络节点): ...

  8. Jmeter(四)_16个逻辑控制器详解

    循环控制器: 指定其子节点运行的次数,可以使用具体的数值,也可以设置为变量 1:勾选永远:表示一直循环下去 2:如果同时设置了线程组的循环次数和循环控制器的循环次数,那循环控制器的子节点运行的次数为两 ...

  9. 机器学习初入门04 – Seaborn（持续更新）

    Seaborn库可以说是在matplotlib库上的一个封装,它给我们提供了非常丰富的模板 一.整体布局风格设置 import seaborn as sns import numpy as np im ...

  10. 第三次作业--导入excel表格（完整版）

    031302322 031302316 将教师排课表导入系统 使用powerdesigner设计数据库表格 设计概念模型 打开new -> Conceptual Data Model创建概念模型 ...