这次我描述了一些稍微轻松的话题,与之前的一些帖子相比.就个人而言,我认为Grafana是一个非常酷的工具,用于可视化任何时间轴数据.事实证明,使用InfluxDB插件存储和可视化Jenkins构建结果非常容易. 1.启动码头工人集装箱 让我们从使用Grafana,InfluxDB和Jenkins开始所需的docker容器开始. 1 2 3 docker run -d --name grafana -p 3000:3000 grafana/grafana docker run -d --name…

你有没有尝试过在Jenkins中添加GitHub webhook?在这篇博客中,我将演示在您的管道中添加webhook的最简单方法. 首先,什么是webhook?webhook的概念很简单.webhook是一个HTTP回调,当通过HTTP POST通过简单的事件通知发生某事时发生的HTTP POST. Jenkins中的GitHub webhooks用于在开发人员向主分支提交内容时触发构建. 让我们看看如何在GitHub中添加构建webhook,然后在Jenkins中添加此webhook. 转到…

背景 因与工作相关,以下内容皆做了脱敏处理 主要的需求是要根据地理位置查看可视化的数据. 安装及创建 安装命令来源于官网 grafana-cli plugins install grafana-worldmap-panel 安装成功后创建 通过ip获取所在地区 请见开源项目ip2region https://github.com/lionsoul2014/ip2region 通过所在地区获取经纬度 因为worldmap使用的是OpenStreetMap,所以需要找个能根据地区查询经纬度的接口 以…

一.prometheus和grafana 简介 prometheus是由谷歌研发的一款开源的监控软件,目前已经贡献给了apache 基金会托管. 监控通常分为白盒监控和黑盒监控之分. 白盒监控:通过监控内部的运行状态及指标判断可能会发生的问题,从而做出预判或对其进行优化. 黑盒监控:监控系统或服务,在发生异常时做出相应措施. prometheus的优势: 易于管理,通俗易懂 能够轻易获取服务内部状态,比如jvm等. 高效灵活的查询语句 支持本地和远程存储,支持时序数据库 采用http协议,默认p…

最近在工作中需要用到在后台代码中触发Jenkins任务的构建,于是想到Jenkins是否有一些已经封装好的API类库提供,用于处理跟Jenkins相关的操作.下面就简单介绍下我的发现. Linux Curl 首先找到的是Jenkins官网的wiki:https://wiki.jenkins-ci.org/display/JENKINS/Remote+access+API 在官网首页就有关于触发job的方法: 个人尝试了下,该方式是通过命令行直接调curl去发POST请求的方式来触发job的构建.…

在centos中安装jenkins   1)安装目录 pwd (/home/AAA)   2)检查java是否安装 [AAA@Centos_AAA jenkins]$ java -version  java version "1.6.0_22" OpenJDK Runtime Environment (IcedTea6 1.10.4) (rhel-1.41.1.10.4.el6-x86_64) OpenJDK 64-Bit Server VM (build 20.0-b11, mixe…

想在docker中搭建一个jenkins环境.开始的时候我想在先pull centos,然后在里面自己搭建环境,搭建后的环境可以运行,但是不知道挂载哪的数据,这也是我不熟悉jenkins的原因. 同事告诉我一个新的思路https://registry.hub.docker.com/_/jenkins/在官网中,寻找镜像,查看information(原来我也知道这个方法,但是由于都是英语,不想看,但看起来,发现没有想象中的那么枯燥). docker pull jenkins 下载镜像 docker…

原文:C#中使用命名管道进行进程通信的实例 1 新建解决方案NamedPipeExample 在解决方案下面新建两个项目:Client和Server,两者的输出类型均为"Windows 应用程序".整个程序的结构如下图所示. 2 实现项目Client Client仅包含一个名为"客户端"的窗体,如下图所示. 编写窗体后端代码,如下所示. using System; using System.IO; using System.IO.Pipes; using Syste…

在centos中部署jenkins,需要的环境:安装jdk,Apache-tomcat 这两步我前面文章里已写,再次忽略 到官网下载最新的jenkins 我这里的是  jenkins.war 把该文件移到/usr/local/tomcat/webapps/下 对其解压java -jar jenkins.war 然后 重启tomcat服务 /usr/local/tomcat/bin/startup.sh 最后 就可以在网页上输入http://ip地址:8080/jenkins 能成功看到jenki…

Grafana中通过设置不同的组织,以及将用户分配到不同组织,来做到多租户,类似门户的概念. Grafana默认是不允许非管理员用户创建新的组织的,这个可以通过修改配置文件以允许非管理员用户创建组织: 下面演示下怎么新建组织,以及将组织和用户进行关联: 点击上图中的“New organization”,我们可以看到“多组织常用于多租户部署”,如下所示 输入组织名,点击“Create”,创建完组织后,可以为组织选择不同的用户: 除此之外,也可以在全局用户界面,为用户添加不同的组织: 经过上面的操作…

catalogue . pipe匿名管道 . named pipe(FIFO)有名管道 1. pipe匿名管道 管道是Linux中很重要的一种通信方式,是把一个程序的输出直接连接到另一个程序的输入,常说的管道多是指无名管道,无名管道只能用于具有亲缘关系的进程之间,这是它与有名管道的最大区别.管道是Linux支持的最初Unix IPC形式之一,具有以下特点 . 管道是半双工的,数据只能向一个方向流动; 需要双方通信时,需要建立起两个管道 . 只能用于父子进程或者兄弟进程之间(具有亲缘关系的进程)…

背景 在CentOS搭建Docker完成后,我们需要在Docker中搭建Jenkins用来实现工程自动部署. 安装前提 jdk已安装,安装目录如:usr/java/jdk1.8.0_161 maven已安装,安装目录如:usr/maven/apache-maven-3.5.2 设置Jenkins挂载目录(重要!!!) 创建一个目录作为Jenkins挂载目录,比如,mkdir -p /home/jingguoliang/jenkins 设置此目录的归属用户ID:chown -R 1000:1000…

在docker中运行jenkins 用的镜像是apline版:lts-alpine,并设置正确的时区. docker run --name jenkins_master -d \ -p 8081:8080 -p 50000:50000 \ -v jenkins_home:/var/jenkins_home \ -e JAVA_OPTS=-Dorg.apache.commons.jelly.tags.fmt.timeZone=Asia/Shanghai \ jenkins/jenkins:lts-…

shell中调用jenkins API批量运行jenkins带参数的任务: #!/bin/sh #startdate=20150127 startdate=20150201 while [ "$startdate" -ge "20131011" ]; do url="http://192.168.53.100:8099/jenkins/job/temp_pv_is_pay_film_vipuv_unvipuv_day/buildWithParameters…

mongodb 中的aggretion 中,如果管道中存在一个与之相匹配的shard key ,那么这个管道只运行在与之相匹配的shard 中,在以前(3.2),pipeline 被分流,最后又由primary  shard 合并; 在sharded collections  中,aggragation 必须运行在多个shards 中,如果这个操作不请求运行到primary shard 中,这些操作将被路由到随机的一个shard中去合并这个结果,这样缓解了primary shard 数据库过载的…

本人对于linux系统是个小白,恰逢公司新框架需要docker+jenkins部署项目,所以通过同事口述+一顿乱查,终于实现在虚拟机上搭建的ubuntu系统中 实现jenkins +docker 自动部署拉取项目. 赶紧做个记录! 准备条件: 1.虚拟机内安装ubuntu随后再做记录,虽说同事已经演示过,但是自己还是得记录下. 2.jenkins 需要环境:由于本人直接将jenkins安装于宿主机中(还可以将jenkins安装于docker中---这个随后再研究,一步一步来),所以需要JDK+T…

你是否会迷惑当我们请求一个ASP.NetWeb应用程序以后,它是怎么处理这些请求的,后台是怎么工作的,今天就讲一下Asp.NetCore Web应用程序中的请求处理过程. 上一节,我们讲到,Startup文件中用来配置中间件(middleware),这个中间件就是用来处理请求的.那标题中的请求管道又是什么呢,其实所有的中间件就组成了一个请求管道,我们的请求,到达ASP.NetWeb应用程序,就会被送到第一个中间件中,一个个的访问,每个中间件都对请求进行处理,直到进行到最后一个中间件原路返回处理结…

不乱于心,不困于情,不畏将来,不念过往,如此安好 --<不宠无惊过一生>丰子恺 概述 关于在 k8s 中安装 jenkins 和 sornarqube 可以查看下面的文章: 在 k8s 中安装 jenkins 使用 helm 在 k8s 中安装 sonarqube 本文主要记录一下如何在 k8s 中的 jenkins 集成 sonarqube 实现代码质量检查,本文内容主要参考下面的官方文档. https://docs.sonarqube.org/latest/analysis/scan/so…

最终效果 最终在grafana中展示了一个服务每分钟的延迟分布: 各个部分的含义如下: 1.时间的分布,从0.01秒到最多720秒 2.用颜色深浅代表次数.颜色越深,请求次数越多 3.时间轴,代表在这一分钟里面延迟的分布情况 4.分布的详情:鼠标移动到单元格,可以看见这一分钟的这一个延迟区间里,有多少次请求 如何配置 输入报表标题 选择数据源 图标类型选择 Heatmap 输入查询表达式 http_request_duration_seconds_bucket是某个prometheus客户端上报…

1.1 Grafana简介 1.1.1 Grafana是什么? 一个类似Kibana的东西,也是对后端的数据进行实时展示,那么Grafana和Kibana有什么区别?在我看来区别不大,不过在大家的日常使用中Kibana是跟着Logstash.ElasticSearch等组件一起使用做日志展示.索引.分析的,造成了一种假象就是Kibana就只有这种用法了,Kibana也可以接入其他数据源的,不过大家最长用的还是展示日志. 那么Grafana到底是什么呢?Grafana其实就是一个可视化面板(Das…

需求 近期在使用python写一套模拟API请求的监控项目,考虑数据可视化这方面就采用grafana来呈现,下面来看看怎么弄. 数据源准备 首先安装好mysql,将监控的日志数据写入到mysql之中.如下图: 好了,这里就已经准备好了相关的测试模拟数据.那么下面就使用Grafana来配置图表看看. 使用Grafana呈现table表格 如果有不清楚Grafana怎么安装的朋友,可以点击这里查看如何安装部署. 执行Grafana的启动脚本如下: [root@server86 grafana]# c…

使用Grafana插件进行监控是Istio提供的监控能力之一.Istio提供丰富的监控能力,Grafana插件在Istio对Prometheus支持的基础上,为用户提供基于网页仪表面板的可视化监控效果,使用户更加直观地查看到实时通信状况. 在前面“如何使用Prometheus监控”的文章中,我们已经介绍istio如何通过它的核心组件Mixer收集用户的访问数据,配合一系列后端基础设施,转换为Prometheus后端接收的形式,提供日志.监控.配额.检查等核心运维功能.Istio基本安装支持Gra…

作者|Praneet Bomma 编译|VK 来源|https://towardsdatascience.com/visualising-lstm-activations-in-keras-b50206da96ff 你是否想知道LSTM层学到了什么?有没有想过是否有可能看到每个单元如何对最终输出做出贡献.我很好奇,试图将其可视化.在满足我好奇的神经元的同时,我偶然发现了Andrej Karpathy的博客,名为"循环神经网络的不合理有效性".如果你想获得更深入的解释,建议你浏览他的博客…

文章首发于[陈树义]公众号,点击跳转到原文:https://mp.weixin.qq.com/s/56S290p4j9KROB5uGRcGkQ Prometheus UI 提供了快速验证 PromQL 以及临时可视化支持的能力,但其可视化能力却比较弱.一般情况下,我们都用 Grafana 来实现对 Prometheus 的可视化实现. 什么是Grafana Grafana 是一个用来展示各种各样数据的开源软件,在其官网上用这么一段话来说明其作用. Used by thousands of com…

在Linux中药进行稍复杂的操作,通常需要借助管道命令"|"多个命令的组合,形式如下: command 1 |  command 2 |  command 3 -- 在linux中有些命令可以直接用于管道命令中,有些则不可以,对于不可以直接用于管道的命令需要借助xargs命令: find ./ -type f | xargs md5sum >> md5_rc1.txt find ./ -type f  -print| xargs md5sum >> md5_rc…

Asp.Net管道: 1.在工作进程w3wp.exe中,利用asp.net_isapi加载.NET运行时,6.0中引入了应用程序池的概念,一个工作进程对应的一个应用程序池.一个应用呢程序池可以加载一个和多个Web应用,每个Web应用映射到IIS的虚拟目录.(每个Web应用运行在各自的应用程序池) 2.HTTP.SYS接受的HTTP请求是Web的第一次访问,在成功加载运行时后,通过AppDomainFactory创建一个应用程序域,随后加载IsapiRuntime被加载----接管该HTTP请求.…

1重定向1.1      重定向符号 >               输出重定向到一个文件或设备 覆盖原来的文件 >!              输出重定向到一个文件或设备 强制覆盖原来的文件 >>             输出重定向到一个文件或设备 追加原来的文件 <               输入重定向到一个程序 1.2标准错误重定向符号 2>             将一个标准错误输出重定向到一个文件或设备 覆盖原来的文件  b-shell 2>> …

一.检查java是否安装 $ java -version java version "1.6.0_22" OpenJDK Runtime Environment (IcedTea6 ) (rhel-.el6-x86_64) OpenJDK -Bit Server VM (build 20.0-b11, mixed mode) 如果没有安装:yum install java-1.7.0-openjdk* -y 二.下载jenkins $ mkdir -p jenkins/jenkins_…

Pipeline在Jenkins里的作用 最近一直在使用jenkins进行自动化部署的工作,开始觉得很爽,省去了很多重复的工作,它帮助我自动拉服务器的代码,自动还原包包,自动编译项目,自动发布项目,自动打包镜像,自动上传仓库,自动启动docker服务,这一系列动作都是自动化的,听起来确实很绚,但是,如果项目多了,要进行管理和调整也挺麻烦的,而且修改记录是没有的,不可追踪,而就在这时候,pipeline出现了,它就是jenkins部署的代码方式,它使用groovy脚本编写,有了它,就不用使用jen…

持续集成中的 pipeline 技术和 docker 都是当前正在发展的主流方向,当然把它们结合起来在 CI/CD 过程中发挥出更强大的威力也是大家共同的目标.本文将介绍如何在 Jenkins pipeline 中集成使用 docker,好在当前的 Jenkins 已经默认通过插件实现了与 docker 的集成,所以这将是一段轻松愉快的旅程. 添加 linux 主机作为 build agent 简单起见,我们使用一台安装了 docker 的 linux 虚机,并通过 ssh 将其启动为 Jenk…