Benthos 按照input, pipeline ,buffer,conditions,ouput 这个几个大类,为我们提供了 方便的分析metrics,支持json 格式同时可以暴露为 statsd.prometheus 格式的数据metrics 当前的metrics 如下: Input input.count: The number of times the input has attempted to read messages. input.received: The number o…

测试demo 来自官方例子 使用docker-compose 进行运行 nats docker-compose file version: '3.3' services: nats: image: nats ports: - "4222:4222" - "8222:8222" - "6222:6222" benthos stream 配置 参考 https://github.com/Jeffail/benthos/tree/master/reso…

benthos 的命令行帮助做的是比较方便的,基本上就是一个自包含的帮助文档 全部命令 benthos --help 查询系统支持的caches benthos -list-caches 说明 使用帮助命令对于我们使用有很大的帮助 参考资料 https://github.com/Jeffail/benthos/tree/8f0d09a80569a09fcc424da1f95d96ef8ceb484b/docs/caches        …

stream 模式,我们也可以通过配置文件进行配置 参考配置文件 input: type: http_server buffer: type: memory pipeline: threads: 4 processors: - type: jmespath jmespath: query: "{id: user.id, content: body.content}" output: type: http_server 启动 使用安装包自带目录,mystream 拷贝了http 的几个配…

stream 模式,我们可以通过rest api 进行控制 使用方法 启动 benthos --streams 进行流的配置(rest api) curl http://localhost:4195/streams/foo -X POST --data-binary @- <<EOF input: type: http_server buffer: type: memory pipeline: threads: 4 processors: - type: jmespath jmespath:…

benthos 是golang 编写的流处理工具,同时也可以作为一个类库使用,当前支持的source sink 还是比较全的 (kafka rabbitmq http service s3 redis mqtt nats nsq websocket) 核心组件 包含的核心组件 inputs(输入) buffers(缓冲) pipeline (流水线处理) outputs (输出) 其他组件 processors (处理器) conditions (条件) caches (缓存) 一个与strea…

benthos 是一个stream 处理框架,streamsets 也是,但是两者可以通过不同的工具进行集成起来 一般我们可以使用http 服务,消息中间件(kafka.rabbitmq ...) 使用docker-compose 运行 服务配置 docker-compose 文件 version: "3" services: sets: image: streamsets/datacollector volumes: - "./ms/data:/data" - &…

主要从视频文件截取,暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明 部分processor github 上已经有文档了,但是大部分还是没有的,作者放出了一个视频 https://www.youtube.com/watch?v=VXgeBl9Bpek…

概述 一个Spark的Job分为多个stage,最后一个stage会包含一个或多个ResultTask,前面的stages会包含一个或多个ShuffleMapTasks. ResultTask运行并将结果返回给driver application. ShuffleMapTask将task的output依据task的partition分离到多个buckets里.一个ShuffleMapTask相应一个ShuffleDependency的partition,而总partition数同并行度.redu…

本文由  网易云发布. 时序数据库(TSDB)是一种特定类型的数据库,主要用来存储时序数据.随着5G技术的不断成熟,物联网技术将会使得万物互联.物联网时代之前只有手机.电脑可以联网,以后所有设备都会联网,这些设备每时每刻都会吐出大量的按照时间组织的数据,需要存储下来进行查询.统计和分析.时序数据和普通的业务数据在各个方面都有很大的不同,本文将会试图带大家进入TSDB的世界. TSDB应用场景:哪些场景会用到TSDB? TSDB目前最大的应用场景是监控业务(哨兵),以哨兵为例,哨兵会在业务服务器上…

Start HttpServer /** * 启动 HttpServer * multi instances 采用 synchronized防止线程安全问题 * addHandlers 方法是actor模式的实现(EventLoopPoolSize >= instances): * 1 instances : 1 verticle(actor) : 1 VertxThread(Eventloop) */ public synchronized HttpServer listen(int port…

使用benthos 做为webhook,是一种方法,功能很强大,但是有点复杂,所以换了一个更简单直接的webhook 工具 根据请求的数据,只处理关于db exporter 任务部分的消息,然后就是调用shell 执行一些逻辑处理 环境处理 使用docker-compose 运行 docker-compose 文件 version: "3" services: webhook: image: almir/webhook command: ["-verbose", &…

nexus 的数据库备份是比较重要的,可以方便我们在故障的是时候进行应用恢复. 以下使用benthos 组件进行nexus 数据库备份事件的应用通知处理 环境准备 使用docker-compose 运行 docker-compose.yaml 文件 version: "3" services: nexus: image: sonatype/nexus3 ports: - "8081:8081" volumes: - ./nexus-data:/nexus-data…

Logging,Metrics 和 Tracing   最近在看Gophercon大会PPT的时候无意中看到了关于Metrics,Tracing和Logging相关的一篇文章,凑巧这些我基本都接触过,也是去年后半年到现在一直在做和研究的东西.从去年的关于Metrics的goappmonitor,到今年在排查问题时脑洞的基于log全链路(Tracing)追踪系统的设计,正好是对这三个话题的实践.这不禁让我对它们的关系进行思考:Metrics和Looging的区别是什么?Tracing还需要Logg…

1. 普通线性回归 Linear Regression (1)目标: class sklearn.linear_model.LinearRegression (fit_intercept=True, normalize=False, copy_X=True, n_jobs=None)  (2)参数: (3)sklearn的三个坑 [1]均方误差为负 我们在决策树和随机森林中都提到过,虽然均方误差永远为正,但是sklearn中的参数scoring下,均方误差作为评 判标准时,却是计算”负均方误差“(…

metrcis输出 collector.go package main import ( "github.com/prometheus/client_golang/prometheus" ) //Define a struct for you collector that contains pointers //to prometheus descriptors for each metric you wish to expose. //Note you can also includ…

sofa 的webhook实际上就是将graphql 的subscription 进行了扩展,当接受到sub 请求的时候 再做一次http 的转发处理,方便rest api 的访问 环境准备 环境还是使用的docker-compose ,以前的代码,只是添加了一个webhook 的容器镜像 可以参考: https://www.cnblogs.com/rongfengliang/p/10326302.html docker-compose 文件 version: "3" services…

smtp2http 是一个很方便的可以将smtp 转换为http 服务的工具,同时也支持扩展的开发,我们可以使用此工具 扩展灵活的ci.cd 生命周期管理,而不是简单的邮件处理 备注: 使用docker-compose 运行 环境准备 docker-compose 文件 注意为了方便使用了一个webhook 的工具   version: "3" services:  app:   image: jenkins/jenkins:lts-alpine   ports:   - "…

默认tile38 是没有密码保护的,我们可以通过配置指定密码,类似redis 的,但是redis 的一般我们是配置在 配置文件中的 环境准备 docker-compose 文件   version: "3" services:  app:    image: tile38/tile38    ports:    - "9851:9851" 启动&&设置密码 启动 docker-compose up -d 设置密码 默认不持久化存储,除非调用 CONF…

tile38 支持动态实时的移动对象的数据监控 环境准备 docker-compose 文件 version: "3" services:  app:    image: tile38/tile38    ports:    - "9851:9851"  benthos:    image: jeffail/benthos    volumes:    - "./conf/webhook.yaml:/benthos.yaml"    ports:…

基于复制我们可以保证tile38 server 的ha 环境准备 docker-compose 文件 说明里面多了一个webhook 的服务,可以不用管   version: "3" services:  app:    image: tile38/tile38    ports:    - "9851:9851"  app2:    image: tile38/tile38    ports:    - "9852:9851"  benthos…

tile38 是基于golang 编写的geo 数据库,支持地理空间索引.实时地理围栏,同时也支持leader-flower 的部署模型 备注: 下边测试一个简单的地理围栏功能 环境准备 docker-compose 文件 包含了一个简单的webhook 工具   version: "3" services:  app:    image: tile38/tile38    ports:    - "9851:9851"  benthos:    image: je…

lua-resty-mail 是一个不错的openresty mail 扩展,我们可以用来进行邮件发送,支持附件功能 smtp2http 是一个smtp 服务,可以将smtp 请求数据转换为http rest 请求,这个在我们的实际应用 中还是很方便的,比如需要mail 服务,但是我们需要进行一些灵活的控制,比如一些devops平台 我们需要监控的报警处理,同时想对于内容进行一些处理 备注: 测试使用openresty + docker-compose 的方式运行,同时使用了一个webhook…

hermes 是一个不错的基于kafaka 的event broker,基于push模型(webhook) 测试环境使用docker-compose 运行 环境准备 docker-compose   version: '3' services:  graphite:    image: nickstenning/graphite    ports:      - "80:80"      - "2003:2003"  frontend:    image: alle…

了解一个工具最好的方式是先--help 下,看看支持的命令以及参数 启动mtail 最基本的参数: --logs 支持需要处理的log 文件,支持通过glob 模式的额查找,可以指定多次 --progs log 的可编程处理规则,注意必须以 .tmail 结尾 操作 运行   mtail --progs /etc/mtail --logs /var/log/syslog --logs /var/log/ntp/peerstats 容器方式运行 方式可选的有,数据卷挂载(最好用共享)实际上就是类似…

uflare/smtp2http 是一个很不错的工具,我们使用这个工具,可以快速的将smtp 服务转换为http 服务 用途实际上挺多的 devops 系统 需要使用smtp的系统(测试) 基于smtp 的报警系统 .... 环境准备 docker-compose 文件 包好了一个基于nodejs 的smtp 发送代码以及基于benthos 的webhook 功能,还有就是smtp 服务   version: "3" services:  send:    build: ./  ben…

新的hasura graphql-engine 代码仓库中已经包含了一个基于express 的简单graphql server, 可以用来测试模式拼接 graphql server 代码 项目结构 ├── Dockerfile ├── README.md ├── now.json ├── package.json └── server.js 代码说明 package.json: 依赖包 { "name": "nodejs-express-gql-server", &…

hasura graphql-engine v1.0.0-alpha30 有好多新的功能的添加 环境准备 docker-compose 文件 version: '3.6' services: postgres2: image: postgres:9.6 ports: - "5432:5432" environment: - "POSTGRES_PASSWORD:dalong" volumes: - ./db_data2:/var/lib/postgresql/dat…

If you see a package or project here that is no longer maintained or is not a good fit, please submit a pull request to improve this file. Thank you! Contents Awesome Go Audio and Music Authentication and OAuth Command Line Configuration Continuous I…

### Welcome to the InfluxDB configuration file. # The values in this file override the default values used by the system if # a config option is not specified. The commented out lines are the configuration # field and the default value used. Uncommen…