实际上还是一个pipeline,只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量 协议数据的处理 基本环境 使用docker&& docker-compose 进行环境搭建,具体参考项目:https://github.com/rongfengliang/streamsets-demos/tree/master/micro-service 运行micro-service pipeline 环境 docker-compose up -d docker-…

使用k8s 进行 streamsets的部署(没有使用持久化存储) k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: big-data labels: app: streamsets spec: replicas: 1 template: metadata: labels: app: streamsets spec…

docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆 账户 admin admin 登陆完成选择模型界面 简单pipeline 数据源选择&&操作界面 一个参考的iot 架构 参考资料 https://streamsets.com/opensource/        …

一些功能类似drill ,比如s3,file ... 创建file pipeline 准备file mkdir -p /opt/db/ touch books.txt 内容如下: The Catcher in the Rye, J.D. Salinger, 1945 Pride and Prejudice, Jane Austen, 1813 Of Mice and Men, John Steinbeck, 1937 Frankenstein, Mary Shelley, 1818 创建表 me…

相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets stream selector 使用 streamsets mongodb destinations 使用 streamsets redis destinations 使用 streamsets exce…

streamsets 3.5 有了一些新的特性以及增强,总之是越来越方便了,详细的可以 查看官方说明,以下简单例举一些比较有意义的. origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强,对于microservice pipeline 可以发送响应到源请求了 processors 新的加解密字段处理器 新的mongodb 查找处理器 新的http 路由处理器 字段类型转换的增强 sa…

我们可以在stage 级别,或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard(丢踢) send response to Origin pipeline传递错误记录回microservice origin ,同时包含了错误的record 个数以及metrics ,只能在microservice pipeline 中使用 write to anothoer pipeline 将错误写到其他的sdc rpc pipeline中,同上, 数据包含了错误记…

origin 是streamsets pipeline的soure 入口,只能应用一个origin 在pipeline中, 对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式 集群模式 edge模式(agent) 开发模式(方便测试) standalone(独立模式)组件 In standalone pipelines, you can use the following origins: Amazon S3 - Reads objects from Amazon S…

benthos 是一个stream 处理框架,streamsets 也是,但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务,消息中间件(kafka.rabbitmq ...) 使用docker-compose 运行 服务配置 docker-compose 文件 version: "3" services: sets: image: streamsets/datacollector volumes: - "./ms/data:/data" - &…

目前Jenkins最新的版本是2.7,现在试用一下pipeline类型的项目,本来想构建一个1.651版本的Jenkins为例,无奈大陆的网络 访问github不稳定,只好改为简单的工程. 目前有一个代码仓库地址: https://github.com/wangzy23/jenkins-pipeline.git 里面有一个代码文件 jenkins.c , 编译命令是:“gcc jenkins.c -o jenkins” , 运行编译的可执行文件./jenkins ,输出为:“Hello Jenk…