最近正在研究zookeeper,一些心得记录一下,如有错误,还请大神指正. zookeeper下载地址:http://zookeeper.apache.org/releases.html,百度一下就能找到,不过还是在这里列一下. 我认为学习一个东西,首先要理出一个头绪,否则感觉无从下手,这里我从启动开始研究,即从zkSever.sh入手. if [ "x$JMXDISABLE" = "x" ] then echo "JMX enabled by defau…

在上一篇,我们了解了zookeeper最基本的配置,也从中了解一些配置的作用,那么这篇文章中,我们将介绍Zookeeper的启动过程,我们在了解启动过程的时候还要回过头看看上一篇中各个配置参数在启动时的位置. Zookeeper的启动入口在org.apache.zookeeper.server.quorum.QuorumPeerMain. 在这个类的main方法里进入了zookeeper的启动过程,首先我们会解析配置文件,即zoo.cfg和myid. 这样我们就知道了dataDir和dataLo…

最近正在研究zookeeper,一些心得记录一下,如有错误,还请大神指正. zookeeper下载地址:http://zookeeper.apache.org/releases.html,百度一下就能找到,不过还是在这里列一下. 我认为学习一个东西,首先要理出一个头绪,否则感觉无从下手,这里我从启动开始研究,即从zkSever.sh入手. if [ "x$JMXDISABLE" = "x" ] then echo "JMX enabled by defau…

等着測试童鞋完工,顺便里了下zookeeper的启动流程 zk3.4.6 启动脚本里面 nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \ -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_D…

在上一篇,我们了解了zookeeper最基本的配置,也从中了解一些配置的作用,那么这篇文章中,我们将介绍Zookeeper的启动过程,我们在了解启动过程的时候还要回过头看看上一篇中各个配置参数在启动时的位置. Zookeeper的启动入口在org.apache.zookeeper.server.quorum.QuorumPeerMain. 在这个类的main方法里进入了zookeeper的启动过程,首先我们会解析配置文件,即zoo.cfg和myid. 这样我们就知道了dataDir和dataLo…

zookeeper启动报错日志: 2016-11-16 11:19:43,880 [myid:3] - INFO [WorkerReceiver[myid=3]:FastLeaderElection@542] - Notification: 3 (n.leader), 0x200111a88 (n.zxid), 0x1 (n.round), LOOKING (n.state), 3 (n.sid), 0x2 (n.peerEPoch), LOOKING (my state) 2016-11-16…

本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding:utf-8from com.wenhy.crawler_baidu_baike import url_manager, html_downloader, html_parser, html_outputerprint "爬虫百度百科调度入口"# 创建爬虫类class SpiderMain(…

zookeeper启动报异常 java.io.EOFException  at java.io.DataInputStream.readInt(DataInputStream.java:392) 遇到这个问题 第一步先删除 缓存文件 打开 conf 文件夹 找到 zoo.cfg 文件 找到缓存数据文件夹 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo } span.s1 { } dataDir=/home349/vlan/zo…

zookeeper启动时报8080 端口被占用,导致启动失败.特别是服务器上部署了tomcat服务时需要注意. 通过查看zookeeper的官方文档,发现有3种解决途径: (1)删除jetty. (2)修改端口. 修改方法的方法有两种,一种是在启动脚本中增加 -Dzookeeper.admin.serverPort=没有占用的端口号. 一种是在zoo.cfg中增加admin.serverPort=没有被占用的端口号 (3)停用这个服务,在启动脚本中增加"-Dzookeeper.admin.ena…

根据上一篇文章中搭建了一个springboot简单工程,在该工程中编写HelloWordController.java接口类,并在该类中写了一个main函数,做为该类的接口服务启动入口.此时如果新增多个接口服务类时,不修改任何代码是无法访问新增类的接口服务. 实际上springboot提供了统一配置全局扫描接口服务类的启动方法,本文就介绍如何使用: 如何配置统一启动入口 在src根目录下新建一个app包,在包下创建一个App.java类,通过代码配置使其作为该工程的一个通用启动入口类: pack…

zookeeper启动时正常,查看状态时出错 处理,通过 ./zkServer.sh status 报错Error contacting service. It is probably not running. ./zkServer.sh start-foreground 发现是jdk环境变量出错./zkServer.sh: line 149: /usr/java/jdk1.7.0.67-cloudera/bin/java: 没有那个文件或目录 处理设置环境变量 vim /etc/profile…

Angularjs启动入口, splash画面,与加快启动的技巧 Angularjs启动入口 * 自动响应DOMContentLoaded event * 从ngApp指定的入口启动: 在angular.js执行后, 如果 document.readyState是'complete', 则寻找并执行ngApp指定的root *** load它指定的module *** 建立app的injector *** 编译DOM上ngApp指定的部分 (不一定是全部DOM), * 用angular.boot…

zookeeper安装和配置详解 转载 2014年04月16日 14:36:31 16812 摘自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/#icomments,更多内容参考原文 更多zookeeper学习内容见:http://agapple.iteye.com/blog/1111377 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http:/…

错误日志如下: [hadoop@master zookeeper-3.4.5-cdh5.10.0]$ cat zookeeper.out 2018-05-15 01:29:21,036 [myid:] - INFO [main:QuorumPeerConfig@101] - Reading configuration from: /opt/modules/zookeeper-3.4.5-cdh5.10.0/bin/../conf/zoo.cfg 2018-05-15 01:29:21,045 […

Zookeeper启动总结1.实际项目用的是Linux,问题不大,本地开发学习用Windows,问题多多.2.Zookeeper3.5.1-alpha,和本地JDK1.7,有冲突,无法正常启动.3.Zookeeper启动,需要配置conf目录下的zoo.cfg.复制-粘贴-重命名一次就可以了.4.Windows下启动,不需要带“start”参数,直接zkServer.cmd,真是够坑的. 5.用 ./zkServer.sh start-foreground 启动,可以看到日志…

manage.py是启动入口,在里面调用execute_from_command_line(sys.argv)方法 def execute_from_command_line(argv=None): """Run a ManagementUtility.""" utility = ManagementUtility(argv) utility.execute() ManagementUtility对象的execute()方法 def execut…

一.Zookeeper安装流程 执行如下安装命令: brew install zookeeper 执行截图如下: 安装后查看 zookeeper 安装信息(默认拉取最新版本) brew info zookeeper 执行截图如下: 二.Zookeeper启动.状态查询.及关闭 启动执行命令: zkServer start 执行截图如下: 状态查询执行命令: zkServer status 执行截图如下(启动失败,翻车现场截图): 红线部分说明未启动成功,后面细谈 关闭执行命令: zkServer…

前言 之前的Zookeeper协议篇-Paxos算法与ZAB协议通过了解Paoxs算法开始,到Zab协议的两大特性:崩溃恢复和消息广播,学习了Zookeeper是如何通过Zab协议实现高可用,本篇主要解析Zookeeper的启动流程 单机模式启动流程 我们知道,Zookeeper使用中分为单机和集群两种,而这两种最大的不同则是,集群启动下需要进行Leader选举以及Leader和Follower之间的数据同步操作,而单机启动则不需要此操作,Zookeeper单机启动大概分为三个部分,分别为预处理…

hbase伪分布式,与zookeeper同一台机器的时候,运行一段时间,启动zookeeper的时候,日志中有如下错误,导致无法启动zookeeper java.io.IOException: Failed to process transaction type: 2 error: KeeperErrorCode = NoNode for /hbase/unassigned at org.apache.zookeeper.server.persistence.FileTxnSnapLog.res…

前一篇文章中说到,启动ZooKeeper集群时,需要分别启动集群中的各个节点,各节点以QuorumPeer的形式启动,最后到达startLeaderElection和lookForLeader. 先说startLeaderElection 首先,初始化节点自身的currentVote[当前投票]为[myid.zxid.currentEpoch] 然后,初始化选举算法createElectionAlgorithm,默认使用FastLeaderElection算法,在这里,启动两个线程WorkerS…

集群中3个节点,第一个started,第二个说Starting zookeeper ... already running as process xxxx,第三个说Starting zookeeper ... already running as process yyyy. 原来是相应目录下残留的pid文件导致启动失败,打开那个文件一看里边的进程号正是提示出现的xxxx,yyyy.删除他们后重启,好了.…

在各节点中运行zkServer.sh start后 1.首先看进程是否存在 QuorumPeerMain. 2.查看zookeeper的运行状态 zkServer.sh status,会出现一个leader和follower.如:"Mode: follower",如果没有证明没有运行成功. 如果myid没有创建或myid文件中没有填写zoo.cfg中对应的ID,也可以在启动时不报错,而且进程也是正常的,但在查询运行状态时,发现没有出现"Mode: follower"…

在root的用户下 1):前提 安装JDK环境,设置JAVA环境变量 2):下载kafka,命令:wget  http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz 3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 4):然后去解压zookeeper…

平台:centos-6.3-i386 jdk-7u51 storm 0.9.1 python 2.6.6   hadoop 1.2.1 今天上午装storm的时候遇到这个问题,好郁闷.把网上介绍的方法都试了一遍,都没能很好的解决问题. 先介绍我自己的方法: 当我查看/bin目录下的zookeeper.out后,发现是2181端口被占用了,按照网上的方法,改成2182或者2183,都没有解决问题.此时我想到能不能把2181给kill,然后再重启? 1:使用netstat -ptnl |grep 2…

本文简要说明了如何在Docker容器中启动和配置Zookeeper. 1 准备工作 1.1 下载zookeeper镜像 $ docker pull zookeeper:3.4 1.2 单点模式 安装Docker CE 1.3 集群模式 安装Docker EE 创建一个名为zk-overlay的network $ docker network create -d overlay zk-overlay 2 启动Zookeeper 2.1 单点模式启动 $ docker run --name some…

在启动zookeeper的时候 报错 没有权限 以为是 zookeeper 没有权限 然后 chmod -R 777 zookeeper/ 之后还是不行. 后来 才发现 原来是我 /tmp/zookeeper这个文件夹的所属者是root 好吧 切到root 直接删除rm -rf /tmp/zookeeper 之后启动正常.…

启动zookeeper---jps,未出现QuorumPeerMain进程 原因: 电脑中的某些进程占用了2181 port 通过 sudo netstat -nltp|grep 2181查看进程并kill掉 重新启动zookeeper,启动成功 要学会使用cat zookeeper.out查看日志!!!…

配置storm集群的时候出现如下异常: 2016-06-26 14:10:17,484 [myid:1] - WARN [SyncThread:1:FileTxnLog@334] - fsync-ing the write ahead log in SyncThread:1 took 1340ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide 2016-06-26 14…

前言 前些天,测试MM发现了一个比较奇怪的bug. 具体表现是: 1.将app包通过电脑QQ传送到手机QQ上面,点击安装,安装后选择打开app (此间的应用逻辑应该是要触发 [闪屏页Activity], 然后跳转 [主页Activity]) 2.然后MM在 [主页Activity] 时按下了 [Home键],回到桌面 3.再点击app的icon图标,原谅耿直的我们都是觉得应该直接回到[主页Activity],但是结果却是又一次触发 [闪屏页Activity],亮瞎了24K钛合金狗眼的我们觉得这玩…

sqler sql 转rest api 的源码还是比较简单的,没有比较复杂的设计,大部分都是基于开源 模块实现的. 说明: 当前的版本为2.0,代码使用go mod 进行包管理,如果本地运行注意golang 版本,我使用docker 运行, 参考 https://github.com/rongfengliang/sqler-docker-compose/blob/master/Dockerfile 依赖的开源包 配置解析的(比如bind,exec,validates,include...) 使用…