背景 以前介绍过ClickHouse相关的系列文章,现在继续说明.本文开始说明ClickHouse的副本与分片,和其他数据库一样,ClickHouse也会出现单节点故障和单节点资源到达上限的情况.所以针对上面的2个问题,就出现了副本和分片.副本:能避免单节点故障的问题,类似于MySQL的Replicate和MongoDB的Replicate Set.分片:解决单节点瓶颈的问题,类似于MySQL的分库分表和MongoDB的Sharding. 部署说明 一:副本 特点: 1. 依赖ZooKeeper…

系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备:      http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html scrapy爬虫学习系列二:scrapy简单爬虫样例学习: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html scrapy爬虫学习系列三:scrapy部署到scrapyh…

SQL Server 学习系列之四(SQL 内幕) SQL Server 学习系列之一(薪酬方案+基础) SQL Server 学习系列之二(日期格式问题) SQL Server 学习系列之三(SQL 关键字) 学习<Microsoft SQL Server 2005技术内幕:存储引擎>的代码笔记备录于此: select @@VERSION select * from sys.dm_exec_requests --资源监视器 DMV select tb.status ,tb.command ,…

背景 最近花了些时间看了下ClickHouse文档,发现它在OLAP方面表现很优异,而且相对也比较轻量和简单,所以准备入门了解下该数据库系统.在介绍了安装和用户权限管理之后,本文对其配置文件做下相关的介绍说明. 说明 ClickHouse的配置文件是config.xml,默认在/etc/clickhouse-server/目录中,可以在conf.d和config.d目录中的*.xml和*.conf文件中覆盖各个设置.还可以为这些配置文件的元素指定replace或remove属性,如果均未指定,它…

背景  前面介绍了ClickHouse相关的系列文章,该系列文章包括了安装.权限管理.副本分片.配置说明等.这次介绍一些ClickHouse相关的系统命令,如重载配置文件.关闭服务和进程.停止和启动后台任务等.具体的信息可以看官方文档说明,顺也说明下set和optimize的命令. 说明 SYSTEM命令 RELOAD EMBEDDED DICTIONARIES重新加载所有内置字典,默认是禁用的,总是返回 OK. :) SYSTEM RELOAD EMBEDDED DICTIONARIES; R…

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以…

背景 之前介绍过ClickHouse相关的系列文章,现在ClickHouse已经能正常使用起来了,包括副本和分片.因为ClickHouse已经可以提供服务了,现在需要关心的就是服务期间该数据库的各项性能指标的情况,如CPU.内存.查询等等.其实在安装完ClickHouse之后,有个内置的数据库system,该库下保存了很多需要的信息,类似于MySQL中的information_schema和performance_schema.那么现在就来介绍下ClickHouse的系统库,方便在使用的时候进行…

背景 最近花了些时间看了下ClickHouse文档,发现它在OLAP方面表现很优异,而且相对也比较轻量和简单,所以准备入门了解下该数据库系统.按照习惯第一步先安装,本文对其用户权限管理方面进行梳理说明. ClickHouse是一个快速的开源数据库管理系统,它是面向列的.工作速度比传统方法快100-1000倍,ClickHouse的性能超过了目前市场上可比的面向列的DBMS. 每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据. 先看ClickHouse官网怎么介绍它的一些特性: 快速:C…

背景 在介绍了一些ClickHouse相关的系列文章之后,大致对ClickHouse有了比较多的了解.它是一款非常优秀的OLAP数据库,为了更好的来展示其强大的OLAP能力,本文将介绍一些快速导入大量数据到ClickHouse的方法.如:通过文件.远程数据库等方式. 说明 一.其他数据库导入到ClickHouse MySQL可以做为ClickHouse的外部存储类型,还有其他的存储类型,如:MongoDB.PostgreSQL.HDFS.JDBC.ODBC.Kafka.File.RabbitMQ…

在本系列的上篇文章中,我们讲到了如何读懂Gradle的语法,在本篇文章中,我们将讲到增量式地构建项目. 请通过以下方式下载本系列文章的Github示例代码: git clone https://github.com/davenkin/gradle-learning.git 如果我们将Gradle的Task看作一个黑盒子,那么我们便可以抽象出输入和输出的概念,一个Task对输入进行操作,然后产生输出.比如,在使用java插件编译源代码时,输入即为Java源文件,输出则为class文件.如果多次执行…