我们可以集成crate 到streamsets 中可以实现强大的数据导入,数据分析能力. 演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services: sets: image: streamsets/datacollector volumes: - "./ms/data:/data" - "…

  JOINs are essential operations in relational databases. They create a link between rows based on common values and allow the meaningful combination of these rows. CrateDB supports joins and due to its distributed nature allows you to work with larg…

cratedb支持的geo 查询还相对比较全,开发基本的功能已经够用了 安装cratedb 使用docker docker run -d -p 4200:4200 crate 创建数据库 创建表 CREATE TABLE country ( name string, country_code string primary key, shape geo_shape INDEX USING "geohash" WITH (precision='100m'), capital string,…

安装cratedb docker run -d -p 4200:4200 crate nodejs 项目初始化 yarn yarn init -y 添加依赖 yarn add node-crate 基本代码 app.js var crate = require('node-crate'); crate.connect('localhost', 4200); crate.execute("select * from appdemofirst", []).then((res) =>…

CrateDB: The fast, scalable, easy to use SQL database with native full text search https://crate.io TODO, 待分析源码实现…

CrateDB: Real-time SQL Database for Machine Data & IoT | Crate.io https://crate.io/…

今天有写过一个简单的cube.js 集成cratedb 的说明,主要是在driver 上的兼容问题,处理方法是删除不兼容的代码 实际上我们也可以通过类似linux c 开发中的patch 方式解决,简化手工干预 生成patch 文件 安装npm 依赖   yarn 生成patch 重命名原有的文件(进入npm 包目录) cp PostgresDriver.js PostgresDriver-origin.js 修改PostgresDriver.js ,删除不兼容的部分: 生成patch diff…

cratedb 提供了pg协议的兼容,我们可以直接使用pg client 连接,但是也不是完整实现pg 协议的 以下是 cube.js 集成cratedb 的一些尝试 环境准备 docker-compose 文件 主要是数据库环境的   version: "3" services: db: image: crate ports: - "5432:5432" - "4200:4200" cube.js pg 项目创建 cubejs create -…

prometheus 提供了remote_write 以及remote_read 的数据存储方式,可以帮助我们进行数据的长时间存储.方便查询 cratedb 提供了对应的adapter,可以直接进行适配. 以下演示一个简单的cratedb 集群以及通过write 以及read 存储通过grok exporter 暴露的日记prometheus metrics 环境准备 数据请求流程 inputlog->grok exporter -> prometheus->cratedb adpate…

crate: 下载: https://crate.io/download/thank-you/?download=tar crash: 下载: https://crate.io/docs/clients/crash/en/latest/getting-started.html https://crate.io/docs/crate/reference/en/latest/admin/user-management.html#create-user 卸载: yum list installed y…

crate 创建表结构: 查看表: show tables; 创建表结构: create table tablename (k1 type,k2 type,k3 type);  (type = int string ...) 插入数据: insert into tablename (k1,k2 ,k3) values (v1,v2,v3); select * from tablename; 注意:先建立表才能够copy! 导出数据服务器执行: copy to COPY test to DIREC…

一:创建存储库 1.1 概要 CREATE REPOSITORY repository_name TYPE type [ WITH (repository_parameter [= value], [, ...]) ] CRATE REPOSITORY 创建存储库 repository_name 库名 WITH  存储库参数 max_snapshot_bytes_per_sec: 在此存储库单个节点上创建快照的最大速率. 默认:40mb每秒 max_restore_bytes_per_sec:…

基本环境的搭建,可以参考相关文档,或者直接使用docker 安装 docker run -d -p 4200:4200 crate 导出mongodb数据(可选,同时使用工具进行数据类型转换) mongoexport --db <dbname> --collection <data> --out out.json curl https://raw.githubusercontent.com/crate/crate-utils/master/migrations/mongodb/co…

关于集群的配置说明可以参考官方文档,或者es 文档 详细代码参考 https://github.com/rongfengliang/cratedb-cluster-docker 参考配置 docker-compose version: "3" services: crate1: image: crate volumes: - "./data1:/data" - "./1.yaml:/crate/config/crate.yml" ports: -…

此为搭建说明,实际上搭建过es 集群的都是可以的,和es 基本一样 配置文件 crate.yaml 参考集群架构图 集群名称 cluster.name: my_cluster 每个node节点名称 如果省略会自动生产,必须唯一 node.name: node1 集群transport 端口 transport.tcp.port: 4350-4360 节点网络发现配置 可以使用dns ,或者直接配置ip:port 模式 discovery.zen.ping.unicast.hosts: - 10.…

安装 docker run -d -p 4200:4200 crate UI访问 http://localhost:4200/#!/ 创建数据 tweets 是默认导入的,点击帮助导航可以操作 登陆 docker exec -it dockercontainerId sh crash 查询表 创建表 插入数据 查询 参考资料 https://crate.io/docs/crate/getting-started/en/latest/        …

我们先来讲讲postgresql的用户认证吧. 我想我们有必要明白以下几个问题: 第一.postgresql的用户和操作系统的用户没有任何直接的的关系.虽然在postgaresql的初始安装中,它会有一个内建的超级用户 postgres,而且它会建议你在操作系统中也新建一个用户postgres用它来连接数据库服务器和管理数据库集群,但是这并不是必需要的.在启动数据库服务器之前,你必需先要安装一个数据库集群,也是初始化一个数据库目录,也就是按这个命令来做:initdb ,这个命令会初始化一个数据库…

cncf landscape CNCF Cloud Native Interactive Landscape 1. App Definition and Development 1. Database Vitess:itess is a database clustering system for horizontal scaling of MySQL. Apache CarbonData:Apache CarbonData is an indexed columnar data format…

0x00 概述 Prometheus之于kubernetes(监控领域),如kubernetes之于容器编排.随着heapster不再开发和维护以及influxdb 集群方案不再开源,heapster+influxdb的监控方案,只适合一些规模比较小的k8s集群.而prometheus整个社区非常活跃,除了官方社区提供了一系列高质量的exporter,例如node_exporter等.Telegraf(集中采集metrics) + prometheus的方案,也是一种减少部署和管理各种expor…

0x00 概述 prometheus在容器云的领域实力毋庸置疑,越来越多的云原生组件直接提供prometheus的metrics接口,无需额外的exporter.所以采用prometheus作为整个集群的监控方案是合适的.但是metrics的存储这块,prometheus提供了本地存储,即tsdb时序数据库.本地存储的优势就是运维简单,启动prometheus只需一个命令,下面两个启动参数指定了数据路径和保存时间. storage.tsdb.path: tsdb数据库路径,默认 data/ st…

具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考: https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket (crate 集成使用) 测试的csv 文件从https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_tax…

相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets stream selector 使用 streamsets mongodb destinations 使用 streamsets redis destinations 使用 streamsets exce…

本文说明:除开ES,Solr,sphinx系列的其他开源搜索引擎汇总于此.   A search engine based on Node.js and LevelDB A persistent, network resilient, full text search library for the browser and Node.js https://github.com/fergiemcdowall/norch https://github.com/fergiemcdowall/searc…

CNCF Cloud Native Interactive Landscape 1. App Definition and Development 1. Database Vitess:itess is a database clustering system for horizontal scaling of MySQL. Apache CarbonData:Apache CarbonData is an indexed columnar data format for fast analyt…

一.Sentinel 是什么 Sentinel 是阿里中间件团队开源的,面向分布式服务架构的轻量级流量控制产品,主要以流量为切入点,从流量控制.熔断降级.系统负载保护等多个维度来帮助用户保护服务的稳定性. 点此地址了解更多Sentinel. 二.Sentinel 怎么用 Sentinel分为两个部分:客户端以及控制台. 控制台用于管理限流,熔断规则的发布与监控. 客户端则用于接收规则,并执行相关规则. 1. 下载Sentinel控制台 当前最新的release版本为1.4.0 https://g…

禁止用于非法用途,测试与学习请自己搭建靶机 sqlmap -r http.txt  #http.txt是我们抓取的http的请求包 sqlmap -r http.txt -p username  #指定参数,当有多个参数而你又知道username参数存在SQL漏洞,你就可以使用-p指定参数进行探测 sqlmap -u "http://www.xx.com/username/admin*"       #如果我们已经知道admin这里是注入点的话,可以在其后面加个*来让sqlmap对其注…

0x00 sqlmap介绍 什么是sqlmap? sqlmap是一个开源的渗透测试工具,它自动化了检测和利用SQL注入缺陷 以及接管数据库服务器的过程.它配备了一个强大的检测引擎 ,以及终极渗透测试仪中的许多小众功能,其广泛的功能和选项包括数据库指纹,枚举,数据库提权,访问目标文件系统,并在获取完全操作权限时执行任意命令. 开发语言: Python sqlmap目前支持的数据库共 25 种 全面支持 MySQL, Oracle , Microsoft SQL Server , Microsoft…