1. 安装hadoop+zookeeper ha
  2. 前期工作配置好网络和主机名和关闭防火墙
  3. chkconfig iptables off //关闭防火墙
  4.  
  5. 1.安装好java并配置好相关变量 (/etc/profile)
  6. #java
  7. export JAVA_HOME=/usr/java/jdk1.8.0_65
  8. export JRE_HOME=$JAVA_HOME/jre
  9. export PATH=$PATH:$JAVA_HOME/bin
  10. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar (最前面要有.)
  11.  
  12. 保存退出
  13. source /etc/profile
  14.  
  15. 2.设置好主机名和网络映射关系 (/etc/hosts)
  16. // hadoop.master为namenode
  17. // hadoop.slaver1/hadoop.slaver2/hadoop.slaver3 为datanode
  18.  
  19. 192.168.22.241 hadoop.master
  20. 192.168.22.242 hadoop.slaver1
  21. 192.168.22.243 hadoop.slaver2
  22. 192.168.22.244 hadoop.slaver3
  23.  
  24. 3.创建用户并创建密码(以root身份登陆)
  25.   1. useradd hadoop(或者其他用户名)
  26.   2. passwd hadoop (回车输入密码 两次)
  27.   3. su hadoop (使用hadoop用户登陆)
  28.  
  29. 4.免密码登陆
  30.     1.安装ssh  具体百度  一般都自带有
  31.     2.创建在家目录底下创建.ssh目录(使用hadoop用户)  mkdir ~/.ssh
  32.     3.创建公钥(namenode端运行)
  33.         ssh-keygen -t rsa
  34.         一路回车
  35.         最后会在~/.ssh目录下生成id_rsa、id_rsa.pub  其中前者是密钥 后者是公钥
  36.     4.将id_rsa.pub文件拷贝到slaver节点的相同用户.ssh目录下
  37.         scp -r id_rsa.pub 用户名@主机名:目标文件(含路径)
  38.     5.在各个子节点执行cat id_rsa.pub >> ~/.ssh/authorized_keys
  39.     6.设置权限
  40.         chmod 600 authorized_keys
  41.         cd ..
  42.         chmod 700 -R .ssh
  43.     7.注意此时还不能免密码  需在master 节点运行ssh slaver 输入密码后才能免密码
  44.  
  45. 5.安装zookeeper(三台 master slaver1 slaver2)
  46.     1.下载安装包
  47.     2.解压安装包
  48.         tar zxvf zookeeper-3.4.7.tar.gz
  49.     3.配置环境变量
  50.         #zookeeper
  51.         export ZOOKEEPER_HOME=/opt/zookeeper-3.4.7
  52.         export PATH=$PATH::$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
  53.         保存退出
  54.         source /etc/profile
  55.     4.修改配置文件
  56.         cp zoo_sample.cfg zoo.cfg
  57.         vim zoo.cfg
  58.         ####zoo.cfg####
  59.         tickTime=2000
  60.         initLimit=10
  61.         syncLimit=5
  62.         dataDir=/opt/zookeeper-3.4.7/tmp/zookeeper (注意创建相关目录)
  63.         clientPort=2181
  64.         server.1=hadoop.master:2888:3888
  65.         server.2=hadoop.slaver1:2888:3888
  66.         server.3=hadoop.slaver2:2888:3888
  67.  
  68.         参数说明:
  69.         tickTime: zookeeper中使用的基本时间单位, 毫秒值.
  70.         dataDir: 数据目录. 可以是任意目录.
  71.         dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
  72.         clientPort: 监听client连接的端口号.
  73.         initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower.
  74.         syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度.
  75.         server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口.
  76.     5.分发到各个节点中
  77.        scp -r /opt/zookeeper-3.4.7 hadoop@主机名:/opt
  78.     6.根据dataDir配置的目录下新建myid文件, 写入一个数字, 该数字表示这是第几号server
  79.        cd /opt/zookeeper-3.4.7/tmp/zookeeper
  80.        touch myid(如果是安装上述配置，则master为1 slaver1为2 slaver3)
  81.     7.常用命令
  82.         ####启动/关闭/查看 zk#####
  83.         zkServer.sh start    //集群中每台主机执行一次
  84.         zkServer.sh stop
  85.         zkServer.sh status
  86.         ####查看/删除节点信息####
  87.         zkCli.sh
  88.         ls /
  89.         rmr /节点名称
  90.  
  91. 6.安装hadoop(四台机子 master slaver1 slaver2 slaver3 其中namenode有master和slaver1)
  92.     1.下载安装包
  93.     2.解压安装包
  94.     3.配置环境变量
  95.         #hadoop
  96.         export HADOOP_HOME=/opt/hadoop-2.5.2
  97.         export HADOOP_PREFIX=/opt/hadoop-2.5.2
  98.         export HADOOP_COMMON_HOME=$HADOOP_HOME
  99.         export HADOOP_MAPRED_HOME=$HADOOP_HOME
  100.         export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  101.         export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  102.         export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
  103.         export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
  104.  
  105.         export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  106.         export CLASSPATH=.:$CLASSPATH:$HADOOP_HOME/bin
  107.  
  108.         保存退出
  109.         source /etc/profile
  110.     4.修改配置文件
  111.         1.创建相关目录
  112.             cd /opt/hadoop-2.5.2
  113.             mkdir logs
  114.             mkdir tmp
  115.         2.修改相关配置文件相关参数(core-site.xml/hadoop-env.sh/hdfs-site.xml/log4j.properties
  116.         /mapred-env.sh/mapred-site.xml/masters/slaves/yarn-env.sh/yarn-site.xml)
  117.  
  118.             ####core-site.xml####
  119.             <configuration>
  120.             <!-- 指定hdfs的nameservice为namenode-->
  121.             <property>
  122.                 <name>fs.defaultFS</name>
  123.                 <value>hdfs://ns1:8020</value>
  124.             </property>
  125.  
  126.              <!-- 指定hadoop块大小 -->
  127.             <property>
  128.                 <name>io.file.buffer.size</name>
  129.                 <value>131072</value>
  130.             </property>
  131.  
  132.              <!-- 指定hadoop临时目录 -->
  133.             <property>
  134.                 <name>hadoop.tmp.dir</name>
  135.                 <value>/opt/hadoop-2.5.2/tmp</value>
  136.                 <description>A base for other temporary directories.</description>
  137.             </property>
  138.  
  139.             <!-- 指定zookeeper地址 -->
  140.             <property>
  141.                 <name>ha.zookeeper.quorum</name>
  142.                 <value>hadoop.master:2181,hadoop.slaver1:2181,hadoop.slaver2:2181</value>
  143.             </property>
  144.             </configuration>
  145.  
  146.             ####hadoop-env.sh####
  147.             export JAVA_HOME=/usr/java/jdk1.8.0_65
  148.             export HADOOP_CLASSPATH=.:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
  149.             export CLASSPATH=.:$CLASSPATH:$HADOOP_HOME/bin
  150.  
  151.             ####hdfs-site.xml####
  152.             <configuration>
  153.             <property>
  154.             <name>dfs.namenode.http-address</name>
  155.             <value>hadoop.master:50070</value>
  156.             <description>The address and the base port where the dfs namenode web ui will listen on.</description>
  157.             </property>
  158.  
  159.             <property>
  160.             <name>dfs.namenode.secondary.http-address</name>
  161.             <value>hadoop.slaver1:50070</value>
  162.             </property>
  163.  
  164.             <property>
  165.             <name>dfs.namenode.checkpoint.dir</name>
  166.             <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
  167.             <final>true</final>
  168.             </property>
  169.  
  170.             <property>
  171.             <name>dfs.namenode.name.dir</name>
  172.             <value>file://${hadoop.tmp.dir}/dfs/name</value>
  173.             <final>true</final>
  174.             </property>
  175.  
  176.             <property>
  177.             <name>dfs.datanode.data.dir</name>
  178.             <value>file://${hadoop.tmp.dir}/dfs/data</value>
  179.             <final>true</final>
  180.             </property>
  181.  
  182.             <property>
  183.             <name>dfs.replication</name>
  184.             <value>3</value>
  185.             </property>
  186.  
  187.             <property>
  188.             <name>dfs.permissions</name>
  189.             <value>false</value>
  190.             </property>
  191.  
  192.             <property>
  193.             <name>dfs.permissions.enabled</name>
  194.             <value>false</value>
  195.             </property>
  196.  
  197.             <property>
  198.             <name>dfs.namenode.hosts.exclude</name>
  199.             <value>/opt/hadoop-2.5.2/other/excludes</value>
  200.             <description>Names a file that contains a list of hosts that are not permitted to connect to the namenode.  The full pathname of the file must be specified.  If the value is empty, no hosts are excluded.</description>
  201.             </property>
  202.  
  203.             <property>
  204.             <name>dfs.namenode.hosts</name>
  205.             <value>/opt/hadoop-2.5.2/etc/hadoop/slaves</value>
  206.             </property>
  207.  
  208.             <property>
  209.             <name>dfs.blocksize</name>
  210.             <value>134217728</value>
  211.             </property>
  212.  
  213.             <!-- HBase configuration-->
  214.             <property>
  215.             <name>dfs.datanode.max.xcievers</name>
  216.             <value>4096</value>
  217.             </property>
  218.  
  219.             <!--Zookeeper configuration-->
  220.             <property>
  221.             <name>dfs.nameservices</name>
  222.             <value>ns1</value>
  223.             </property>
  224.  
  225.             <property>
  226.             <name>dfs.ha.namenodes.ns1</name>
  227.             <value>nn1,nn2</value>
  228.             </property>
  229.  
  230.             <property>
  231.             <name>dfs.namenode.rpc-address.ns1.nn1</name>
  232.             <value>hadoop.master:8020</value>
  233.             </property>
  234.  
  235.             <property>
  236.             <name>dfs.namenode.rpc-address.ns1.nn2</name>
  237.             <value>hadoop.slaver1:8020</value>
  238.             </property>
  239.  
  240.             <property>
  241.             <name>dfs.namenode.http-address.ns1.nn1</name>
  242.             <value>hadoop.master:50070</value>
  243.             </property>
  244.  
  245.             <property>
  246.             <name>dfs.namenode.http-address.ns1.nn2</name>
  247.             <value>hadoop.slaver1:50070</value>
  248.             </property>
  249.  
  250.             <property>
  251.             <name>dfs.namenode.servicerpc-address.ns1.nn1</name>
  252.             <value>hadoop.master:53310</value>
  253.             </property>
  254.             <property>
  255.             <name>dfs.namenode.servicerpc-address.ns1.nn2</name>
  256.             <value>hadoop.slaver1:53310</value>
  257.             </property>
  258.  
  259.              <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  260.             <property>
  261.             <name>dfs.journalnode.edits.dir</name>
  262.             <value>/opt/zookeeper-3.4.7/journal</value>
  263.             </property>
  264.  
  265.             <property>
  266.             <name>dfs.namenode.shared.edits.dir</name>
  267.             <value>qjournal://hadoop.master:8485;hadoop.slaver1:8485;hadoop.slaver2:8485/ns1</value>
  268.             </property>
  269.  
  270.             <!-- 开启NameNode失败自动切换 -->
  271.             <property>
  272.             <name>dfs.ha.automatic-failover.enabled</name>
  273.             <value>true</value>
  274.             </property>
  275.  
  276.             <!-- 配置失败自动切换实现方式 -->
  277.             <property>
  278.             <name>dfs.client.failover.proxy.provider.ns1</name>
  279.             <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  280.             </property>
  281.  
  282.              <!-- 指定zookeeper地址 -->
  283.             <property>
  284.             <name>ha.zookeeper.quorum</name>
  285.             <value>hadoop.master:2181,hadoop.slaver1:2181,hadoop.slaver2:2181</value>
  286.             </property>
  287.  
  288.             <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用-->
  289.             <property>
  290.             <name>dfs.ha.fencing.methods</name>
  291.             <value>
  292.             sshfence
  293.             shell(/bin/true)
  294.             </value>
  295.             </property>
  296.  
  297.             <property>
  298.             <name>dfs.ha.fencing.ssh.private-key-files</name>
  299.             <value>/home/hadoop/.ssh/id_rsa</value>
  300.             </property>
  301.  
  302.             <!-- 配置sshfence隔离机制超时时间 -->
  303.             <property>
  304.             <name>dfs.ha.fencing.ssh.connect-timeout</name>
  305.             <value>30000</value>
  306.             </property>
  307.             </configuration>
  308.  
  309.             ####log4j.properties####
  310.             hadoop.root.logger=INFO,console
  311.             hadoop.log.dir=/opt/hadoop-2.5.2/logs
  312.             hadoop.log.file=hadoop.log
  313.  
  314.             ####mapred-env.sh####
  315.             export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
  316.             export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
  317.  
  318.             ####mapred-site.xml####
  319.             <configuration>
  320.              <property>
  321.                 <name>mapreduce.framework.name</name>
  322.                 <value>yarn</value>
  323.             </property>    
  324.  
  325.             <property>
  326.                 <name>mapreduce.application.classpath</name>
  327.                 <value>
  328.                 /opt/hadoop-2.5.2/etc/hadoop,
  329.                 /opt/hadoop-2.5.2/share/hadoop/common/*,
  330.                 /opt/hadoop-2.5.2/share/hadoop/common/lib/*,
  331.                 /opt/hadoop-2.5.2/share/hadoop/hdfs/*,
  332.                 /opt/hadoop-2.5.2/share/hadoop/hdfs/lib/*,
  333.                 /opt/hadoop-2.5.2/share/hadoop/mapreduce/*,
  334.                 /opt/hadoop-2.5.2/share/hadoop/mapreduce/lib/*,
  335.                 /opt/hadoop-2.5.2/share/hadoop/yarn/*,
  336.                 /opt/hadoop-2.5.2/share/hadoop/yarn/lib/*
  337.                 </value>
  338.             </property>
  339.             <property>
  340.                 <name>mapreduce.jobhistory.address</name>
  341.                 <value>hadoop.master:10020</value>
  342.             </property>
  343.             <property>
  344.                 <name>mapreduce.jobhistory.webapp.address</name>
  345.                 <value>hadoop.master:19888</value>
  346.             </property>
  347.             <property>
  348.                     <name>mapreduce.jobhistory.done-dir</name>
  349.                     <value>/history/done</value>
  350.             </property>
  351.             <property>
  352.                <name>mapreduce.jobhistory.intermediate-done-dir</name>
  353.                <value>/history/done_intermediate</value>
  354.             </property>
  355.             </configuration>
  356.  
  357.             ####masters####
  358.             hadoop.slaver1  //存储secondary namenode节点主机名
  359.  
  360.             ####slaves####
  361.             hadoop.slaver1
  362.             hadoop.slaver2
  363.             hadoop.slaver3
  364.  
  365.             ####yarn-env.sh####
  366.             export JAVA_HOME=/usr/java/jdk1.8.0_65
  367.  
  368.             ####yarn-site.xml####
  369.             <configuration>
  370.             <!-- Site specific YARN configuration properties -->
  371.             <property>
  372.             <name>yarn.resourcemanager.address</name>
  373.             <value>hadoop.master:18040</value>
  374.             </property>
  375.  
  376.             <property>
  377.             <name>yarn.resourcemanager.scheduler.address</name>
  378.             <value>hadoop.master:18030</value>
  379.             </property>
  380.  
  381.             <property>
  382.             <name>yarn.resourcemanager.resource-tracker.address</name>
  383.             <value>hadoop.master:18025</value>
  384.             </property>
  385.  
  386.             <property>
  387.             <name>yarn.resourcemanager.admin.address</name>
  388.             <value>hadoop.master:18041</value>
  389.             </property>
  390.  
  391.             <property>
  392.             <name>yarn.resourcemanager.webapp.address</name>
  393.             <value>hadoop.master:8088</value>
  394.             </property>
  395.  
  396.             <property>
  397.             <name>yarn.nodemanager.local-dirs</name>
  398.             <value>/opt/hadoop-2.5.2/other/mynode</value>
  399.             </property>
  400.  
  401.             <property>
  402.             <name>yarn.nodemanager.log-dirs</name>
  403.             <value>/opt/hadoop-2.5.2/other/logs</value>
  404.             </property>
  405.  
  406.             <property>
  407.             <name>yarn.nodemanager.log.retain-seconds</name>
  408.             <value>10800</value>
  409.             </property>
  410.  
  411.             <property>
  412.             <name>yarn.nodemanager.remote-app-log-dir</name>
  413.             <value>/opt/hadoop-2.5.2/other/logs</value>
  414.             </property>
  415.  
  416.             <property>
  417.             <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
  418.             <value>logs</value>
  419.             </property>
  420.  
  421.             <property>
  422.             <name>yarn.log-aggregation.retain-seconds</name>
  423.             <value>-1</value>
  424.             </property>
  425.  
  426.             <property>
  427.             <name>yarn.log-aggregation.retain-check-interval-seconds</name>
  428.             <value>-1</value>
  429.             </property>
  430.  
  431.             <property>
  432.             <name>yarn.nodemanager.aux-services</name>
  433.             <value>mapreduce_shuffle</value>
  434.             </property>
  435.  
  436.             <!--zookeeper-->
  437.             <property>
  438.             <name>yarn.resourcemanager.ha.enabled</name>
  439.             <value>true</value>
  440.             </property>
  441.  
  442.             <property>
  443.             <name>yarn.resourcemanager.cluster-id</name>
  444.             <value>yrc</value>
  445.             </property>
  446.  
  447.             <property>
  448.             <name>yarn.resourcemanager.ha.rm-ids</name>
  449.             <value>rm1,rm2</value>
  450.             </property>
  451.  
  452.             <property>
  453.             <name>yarn.resourcemanager.hostname.rm1</name>
  454.             <value>hadoop.master</value>
  455.             </property>
  456.             <property>
  457.             <name>yarn.resourcemanager.hostname.rm2</name>
  458.             <value>hadoop.slaver1</value>
  459.             </property>
  460.  
  461.             <property>
  462.             <name>yarn.resourcemanager.zk-address</name>
  463.             <value>hadoop.master:2181,hadoop.slaver1:2181,hadoop.slaver2:2181</value>
  464.             </property>
  465.  
  466.             <property>
  467.             <name>yarn.nodemanager.aux-services</name>
  468.             <value>mapreduce_shuffle</value>
  469.             </property>
  470.             </configuration>
  471.     5.分发到各个节点中
  472.        scp -r /opt/hadoop-2.5.2 hadoop@hadoop.master:/opt
  473.     6.首次启动
  474.         6.1 启动zk
  475.             zkServer.sh start(zk 各个节点执行)
  476.         6.2 启动journalnode
  477.             hadoop-daemon.sh start journalnode(zk 各个节点执行)
  478.         6.3 格式化Namenode
  479.             hadoop namenode -format(namenode 节点运行  注意是hadoop  不是hdfs)
  480.         6.4 启动Namenode
  481.             hadoop-daemon.sh start namenode(namenode 节点运行)
  482.         6.5 格式化另一个Namenode
  483.             hadoop namenode -bootstrapStandby(在secondary namenode节点运行)
  484.         6.6 格式化zk
  485.              hdfs zkfc -formatZK (namenode节点执行)
  486.         6.7 将所有的服务停止
  487.             stop-all.sh
  488.             注意此时需在每个zk节点执行 zkServer.sh stop
  489.     7.正常启动
  490.         1.启动zk
  491.             zkServer.sh start(zk 各个节点执行)
  492.         2.启动所有服务
  493.             start-all.sh   //或者先执行start-dfs.sh   再执行start-yarn.sh
  494.         3.启动后台历史服务
  495.             mr-jobhistory-daemon.sh start historyserver(在namenode节点执行即可)
  496.         4.启动备份resourcemanger
  497.             yarn-daemon.sh start resourcemanager  //在备份节点运行
  498.         5.启动备份namenode
  499.             hadoop-daemon.sh start namenode  //在备份节点运行
  500.  
  501.     8.验证
  502.         1.jps验证 查看相关进程
  503.         2.web验证
  504.             hdfs   主机名:50070
  505.             yarn   主机名:8088
  506.             history  主机名:19888
  507.             //以上主机名均指 namenode节点主机名 (此时namenode节点是active状态)
  508.         3.查看active状态
  509.             hdfs  web查看  有active状态和stangby状态两种
  510.             yarn  shell命令查看
  511.                 yarn rmadmin -getServiceState rm1(或者rm2)
  512.                 //其中rm1/rm2为配置文件中配置的名称
  513.         4.kill当前active的namenode 看能不自己切换到standby namenode上
  514.     9.常见命令
  515.          ####启动/关闭yarn jobhistory记录####
  516.          web: //namenode:19888  //其中namenode 为集群任意节点主机名
  517.          mr-jobhistory-daemon.sh start historyserver  //集群中每台主机执行一次
  518.          mr-jobhistory-daemon.sh stop historyserver
  519.  
  520.          ####启动/关闭/查看 zk#####
  521.          zkServer.sh start    //集群中每台主机执行一次
  522.          zkServer.sh stop
  523.          zkServer.sh status
  524.  
  525.          ####启动/关闭/查看 yarn####
  526.          yarn-daemon.sh start resourcemanager
  527.          yarn-daemon.sh stop resourcemanager
  528.          yarn-daemon.sh stop nodemanager
  529.          yarn rmadmin -getServiceState rm2  //其中rm2是集群配置的别名
  530.  
  531.          web: //namenode:8088  //其中namenode是active状态的主机名
  532.  
  533.          ####启动/关闭/查看 hadoop####
  534.          hadoop-daemon.sh start namenode
  535.          hadoop-daemon.sh stop namenode
  536.          hadoop-daemon.sh stop datanode
  537.          web: //namenode:50070  //其中namenode是active状态的主机名
  538.  
  539.          ####格式化zkNode####
  540.          hdfs zkfc -formatZK //namenode节点执行   注意是hdfs  不是hadoop
  541.  
  542.          ####启动/关闭zkNode#####
  543.          hadoop-daemon.sh start zkfc
  544.          hadoop-daemon.sh stop zkfc
  545.  
  546.          ####查看/删除job####
  547.          hadoop job -list
  548.          hadoop job -kill 任务ID //注意不是applicationID
  549.  
  550.          ####初始化Journal Storage Directory####
  551.          hdfs namenode -initializeSharedEdits  //非ha转成ha时执行 如果一开始已经是ha了无需执行
  552.  
  553.          ####初始化namenode####
  554.          hadoop namenode -format  //namenode端执行
  555.  
  556.          hdfs namenode -bootstrapStandby //secend namenode端执行 执行前需保证namenode已经启动
  557.  
  558.     10.常见异常
  559.         1.Journal Storage Directory /opt/zookeeper-3.4.7/journal/ns1 not formatted
  560.             原因：由于之前hadoop没部署ha,改成ha后形成错误
  561.             解决办法：
  562.                     1.将配置文件hdfs-site.xml中dfs.journalnode.edits.dir对应的目录删除
  563.                     2.hdfs namenode -initializeSharedEdits(namenode 执行)
  564.         2.datanode起来了,namenode起不来
  565.             解决办法:
  566.                 1.查看配置文件相关配置项是否配置正确
  567.                 2.查看环境变量是否配置正确
  568.                 3.查看主机网络映射是否配置正确
  569.                 4.是否二次格式化namenode  如果是,则需要将datanode 的clusterID和namespaceID改成namenode一致
  570.                     目录一般是tmp目录下
  571.                 5.重启hdfs
  572.                 6.如果执行上述还不行,则在hadoop服务运行状态下将tmp目录下所有文件夹删除,再格式化,重启服务
  573.         3.两个namenode起来了,但都是standby状态
  574.             解决办法:
  575.                 1.是否均启动zk
  576.                 2.格式化zfkc
  577.                     hdfs zkfc -formatZK
  578.                 3.所有服务重启(含zk)

安装hadoop+zookeeper ha的更多相关文章

  1. hadoop+zookeeper(ha架构搭建）

    http://blog.csdn.net/baidu_25820069/article/details/52225293 [条件所限,待验证]

  2. Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

  3. Hadoop分布式HA的安装部署

    Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...

  4. 通过tarball形式安装HBASE Cluster（CDH5.0.2）——Hadoop NameNode HA 切换引起的Hbase错误，以及Hbase如何基于NameNode的HA进行配置

    通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置 配置H ...

  5. ZooKeeper学习之路 （九）利用ZooKeeper搭建Hadoop的HA集群

    Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢? HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SP ...

  6. HA分布式集群一hadoop+zookeeper

    一:HA分布式配置的优势: 1,防止由于一台namenode挂掉,集群失败的情形 2,适合工业生产的需求 二:HA安装步骤: 1,安装虚拟机 1,型号:VMware_workstation_full_ ...

  7. Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）

    1.主机规划 序号 主机名 IP地址 角色 1 nn-1 192.168.9.21 NameNode.mr-jobhistory.zookeeper.JournalNode 2 nn-2 ).HA的集 ...

  8. Apache Hadoop集群安装（NameNode HA + YARN HA + SPARK + 机架感知）

    1.主机规划 序号 主机名 IP地址 角色 1 nn-1 192.168.9.21 NameNode.mr-jobhistory.zookeeper.JournalNode 2 nn-2 192.16 ...

  9. Hadoop zookeeper hbase spark phoenix （HA）搭建过程

    环境介绍: 系统:centos7 软件包: apache-phoenix-4.14.0-HBase-1.4-bin.tar.gz  下载链接:http://mirror.bit.edu.cn/apac ...

随机推荐

  1. 三种执行SQL语句的的JAVA代码

    问题描述: 连接数据库,执行SQL语句是必不可少的,下面给出了三种执行不通SQL语句的方法. 1.简单的Statement执行SQL语句.有SQL注入,一般不使用. public static voi ...

  2. Comet技术

    1.Comet是什么? 维基百科: Comet是一种用于web的推送技术,能使服务器实时地将更新的信息传送到客户端,而无须客户端发出请求,目前有两种实现方式,长轮询和iframe流. 说白了就是web ...

  3. SQL 从指定表筛选指定行信息 获取表行数

    1.获取指定表的行数 --获取表中数据行数 --select max([列名]) from 表名 2.筛选指定表的指定行数据(数据表分页获取) http://www.cnblogs.com/morni ...

  4. 【bzoj1231】[Usaco2008 Nov]mixup2 混乱的奶牛

    题目描述 混乱的奶牛[Don Piele, 2007]Farmer John的N(4 <= N <= 16)头奶牛中的每一头都有一个唯一的编号S_i (1 <= S_i <= ...

  5. 对于C语言复杂指针类型的分析

    转载自:http://www.slyar.com/blog/complicated-point-type.html int p; p是一个普通的整型变量. int *p; 1.p与*结合,说明p是一个 ...

  6. Stm32F107VCT6硬件资源

    一直在用stm32系列的单片机,最近因为需要使用到以太网,所以采用了stm32f107vc这款芯片.对于存储资源一直不是非常清楚,今天专门到官网看了一下. 如下: RAM------>64kB ...

  7. web自动化工具-liveStyle

    web自动化工具-liveStyle LiveStyle. The first bi-directional real-time edit tool for CSS, LESS and SCSS主要用 ...

  8. 高程（4）：执行环境、作用域、上下文执行过程、垃圾收集、try...catch...

    高程三 4.2.4.3 一.执行环境 1.全局执行环境是最外层的执行环境. 2.每个函数都有自己的执行环境,执行函数时,函数环境就会被推入一个当前环境栈中,执行完毕,栈将其环境弹出,把控制器返回给之前 ...

  9. Linux SVN 命令详解

    1.将文件checkout到本地目录 svn checkout path(path是服务器上的目录)   例如:svn checkout svn://192.168.1.1/pro/domain    ...

  10. POJ 2226二分图最大匹配

    匈牙利算法是由匈牙利数学家Edmonds于1965年提出,因而得名.匈牙利算法是基于Hall定理中充分性证明的思想,它是二部图匹配最常见的算法,该算法的核心就是寻找增广路径,它是一种用增广路径求二分图 ...