1.kafka官网:http://kafka.apache.org/downloads jdk:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 参考书籍:Apache kafka实战 下载安装如下所示: 我下载的是kafka_2.11-2.1.0 然后点击如下进行下载即可: 下载jdk,根据自己的需求下载所需的jdk版本,64位还是32位的.我下载的32位的jdk-8u191…

本文的实验环境:aws上的Redhat 7.x , 同样也适用于Centos 7.x 简单说主要分为三步: (1) 向官网同步yum数据,可以根据具体情况,创建脚本及配置周期例行任务  (2) 搭建web服务器,通过配置,允许指定的服务器进行访问  (3) 客户端配置,配置一个指向到yum服务器的url即可  由于公司服务器都是在内网的.一般是不允许访问外面 因此要解决内网rhel 系统的补丁及升级问题,就需要在公司搭建一台本地yum服务器,数据则需要向官网同步 当然安全策略即为,yum服务器,…

是不是都需要一个声明,来一个: 声明: 本文只是总结本人本地模拟环境测试,并没有经过严格的线上测试.请自己在本地严格测试之后慎重使用在生产环境! kudu_master.kudu_tserver服务迁移时候会涉及数据的迁移,概括如下: 1.kudu_master部署机器 172.16.100.1 kudu_master1 Leader  172.16.100.2 kudu_master2 Follower 172.16.100.3 kudu_master3 Follower 2.确认kudu集群…

Kafka概述 1.1 消息队列     (1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端.这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此. (2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者) 发布订阅模型则是一个基于推送的消息传送模型.发布订阅模型可以有多种不同的订阅者,临时订阅者只在主动监听主题时才接收消息,而持久订…

PostgreSQL数据类型转换需要使用语法 alter table tbname alter column fieldname type date_type 遇到需要转换为特殊类型如DATE.BOOL需要使用using子句 --转换为date类型 alter table tbname alter column fieldname type date using cast(fieldname as date) --转换为bool类型 ALTER TABLE tbname ALTER COLUMN…

通常用户在使用要素服务时,要求数据必须是存放在空间数据库中的.同时,需要将数据库注册到ArcGIS for Server,这样在发布服务时就不需要进行数据拷贝,从而可以节省磁盘空间及服务发布时间.以下就ArcGIS平台的Desktop和Server产品中如何使用PostgreSQL数据库进行总结,包括Linux版的ArcGIS for Server和PostgreSQL以及Windows版的ArcGIS for Server和PostgreSQL. 1 前提条件 1.1 ArcGIS平台软件支持…

PostgreSQL数据的导出导入 导出PostgreSQL数据库中的数据: $ pg_dump -U postgres  -f mydatabase.sql  mydatabase 导入数据时首先创建数据库再用psql导入: $ createdb newdatabase$ psql -d newdatabase -U postgres -f mydatabase.sql 创建数据库 CREATE DATABASE test WITH OWNER = postgres ENCODING = 'U…

PostgreSQL数据的导出导入 导出PostgreSQL数据库中的数据: $ pg_dump -U postgres  -f mydatabase.sql  mydatabase 导入数据时首先创建数据库再用psql导入: $ createdb newdatabase$ psql -d newdatabase -U postgres -f mydatabase.sql 定期保存数据,以防万一.下载定期保存.服务器如果整个毁掉?映像不可恢复? 至少资料还在. 什么backup都比不上这个bac…

本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集群的搭建 elasticsearch集群的搭建 alluxio集群的搭建 1.kafak简介 Kafka是一个分布式.分区的.多副本的.多订阅者的消息队列,以高吞吐量著称,主要用于实时数据的传输和处理,总体架构如下 更多内容请阅读官网 http://kafka.apache.org/document…

flume接收http请求,并将数据写到kafka,spark消费kafka的数据.是数据采集的经典框架. 直接上flume的配置: source : http channel : file sink : kafka xx :~/software/flume1.8/conf$ cat http-file-kafka.conf # example.conf: A single-node Flume configuration ########## # data example # use post…