0 0/10 * * * 与 0 */10 * * * 的差别在于什么地方.在说这两者的差别之前,先说下各个字符代表的含义.0代表从0分开始,*代表任意字符,/代表递增. 0 0/10 * * *代表从0分钟开始,每10分钟执行任务一次. 0 */10 * * *代表从任务启动开始每10分钟执行任务一次. 例如:从5:07执行,该任务第一种写法会在5:10的时候进行执行,写法二会在5:17进行执行.…
我们的hive版本升迁经历了0.7.1 -> 0.8.1 -> 0.9.0,并且线上shark所依赖的hive版本也停留在0.9.0上,在这些版本上有我们自己的bug fix patch和feature enhancement.但是Hive的版本升级很快,新版本中修复了大量bug,新增了很多功能,非常令人兴奋,其中包括对未来hadoop升级为YARN的支持.所以我们准备将hive版本升级为0.11(最近看到mailist上0.12版本也快呼之欲出了,但是保险起见,还是先升级为0.11),  另…
1.Consumer优化:心跳线程可作为后台线程,提交offset,剥离出poll函数 问题:0.10新设计的consumer是单线程的,提交offset是在poll中.本次的poll调用,提交上次poll的心跳和offset值. The options for the user at the moment to handle this problem are the following: Increase the session timeout to give more time for re…
一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文:http://www.cnblogs.com/liugh/p/6671460.html 二.文件准备 2.1 文件名称 kafka_2.11-0.10.2.0.tgz 2.2 下载地址 http://kafka.…
Flask 中文手册 0.10 文档 欢迎使用 Flask 欢迎阅读 Flask 文档. 本文档分为几个部分.我推荐您先从 安装 开始,之后再浏览 快速入门 章节. 教程 比快速入门更详细地介绍了如何用 Flask 创建一个完整的 应用(虽然很小). 想要深入了解 Flask 内部细节,请查阅 API 文档. Flask 代码模式 章节介绍了一些常见模式. Flask 依赖两个外部库: Jinja2 模板引擎和 Werkzeug WSGI 工具 集.此文档不包含这两个库的文档.要细读它们的文档,…
一.安装数据库,这里使用的是percona-server5..24版本 配置如下 [root@zabbix4_clone:~]# cat /etc/my.cnf # Example MySQL config file for medium systems. # 8核 16G # This is for a system with little memory (16G) where MySQL plays [client] #password = your_password port = sock…
Kafka集群版本升级(2.11-0.10.1.0)升级(2.11-0.10.2.2) 官网升级说明: 一.系统环境Zookeeper集群:172.16.2.10172.16.2.11172.16.2.12Kafka集群:172.16.2.10172.16.2.11172.16.2.12 现Kafka版本: 2.11-0.10.1.0,安装目录:/usr/local/kafka计划升级至版本:2.11-0.10.2.2,安装目录:/usr/local/kafka_2.11-0.10.2.2 二.…
package cn.xiaojf.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.Kaf…
package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.*; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; import org.apache.kafka.common.serialization.StringSerializer; import org.apache.kafka…
package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.Properties; /** * Created by 肖建锋 on…