作者:vivo 互联网服务器团队- Wu Qinghua 本文从目前业界实现Jenkins的高可用的实现方案,分析各方案的优缺点,引入vivo目前使用的Jenkins高可用方案,以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果. 一.前言 现在的企业很多都在用Jenkins做持续集成,各个业务端都依靠Jenkins,vivo Devops也是使用Jenkins来进行持续构建,部署Jenkins服务时如何保障服务的高可用变得尤为重要. 下面是目前Jenkins存在的一些问题. J…

目录 阐述背景 Leaf snowflake 模式介绍 Leaf segment 模式介绍 Leaf 改造支持RPC 阐述背景 不吹嘘,不夸张,项目中用到ID生成的场景确实挺多.比如业务要做幂等的时候,如果没有合适的业务字段去做唯一标识,那就需要单独生成一个唯一的标识,这个场景相信大家不陌生. 很多时候为了涂方便可能就是写一个简单的ID生成工具类,直接开用.做的好点的可能单独出一个Jar包让其他项目依赖,做的不好的很有可能就是Copy了N份一样的代码. 单独搞一个独立的ID生成服务非常有必要,当…

作者:vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中,数据采集是其中的首要环节.然而,当前行业内的相关开源数据采集组件,并无法满足企业大规模数据采集的需求与有效的数据采集治理,所以大部分企业都采用自研开发采集组件的方式.本文通过在vivo的日志采集服务的设计实践经验,为大家提供日志采集Agent在设计开发过程中的关键设计思路. 一.概述 在企业大数据体系的建设过程中,数据的处理一般包含4个步骤:采集.存储.计算和使用.其中,数据采集,是建设过程中的首要的环节,也是至…

原生实现 本文承接sharding-jdbc源码之分布式ID,在这篇文章中详细介绍了sharding-jdbc的分布式ID是如何实现的:很遗憾的是sharding-jdbc只是基于snowflake算法实现了如何生成分布式ID,并没有解决snowflake算法的缺点: 时钟回拨问题: 趋势递增,而不是绝对递增: 不能在一台服务器上部署多个分布式ID服务: 第2点算不上缺点,毕竟如果绝对递增的话,需要牺牲不少的性能:第3点也算不上缺点,即使一台足够大内存的服务器,在部署一个分布式ID服务后,还有很…

一.概要 1.分布式安全服务编排概念 2.须弥(Sumeru)关键实现思路 3.应用场景 二.前言 在笔者看来,安全防御的本质之一是增加攻击者的攻击成本,尤其是时间成本.那么从防御的角度来说,如何尽早和及时地发现潜在的安全风险变得尤为重要,因此安全扫描对时效性要求很高.在进行自身检测的同时,数以万计攻击者也在时刻探测着你的安全风险.乐观者可能不以为然,但事实上做安全就是木桶原理,短板是攻击者的首选.如果加上验证程序开发和落地的时间开销,可能又会造成一定的发现时延.有时候出了问题,就要与时间赛跑,…

spring boot / cloud (十六) 分布式ID生成服务 在几乎所有的分布式系统或者采用了分库/分表设计的系统中,几乎都会需要生成数据的唯一标识ID的需求, 常规做法,是使用数据库中的自动增长列来做系统主键,但是这样的做法无法保证ID全局唯一. 那么一个分布式ID生成器应该满足那些需求呢 : 全局唯一性 趋势递增 能够融入分库基因 本文将基于snowflake的算法来进行以下的讨论,当然,分布式ID的生成方案有很多, 不过在本文并不会分散开来讨论/比对,因为网上相关的文章实在太多,如…

Leaf是美团基础研发平台推出的一个分布式ID生成服务,名字取自德国哲学家.数学家莱布尼茨的一句话:“There are no two identical leaves in the world.”Leaf具备高可靠.低延迟.全局唯一等特点.目前已经广泛应用于美团金融.美团外卖.美团酒旅等多个部门.具体的技术细节,可参考此前美团技术博客的一篇文章:<Leaf美团分布式ID生成服务>.近日,Leaf项目已经在Github上开源:https://github.com/Meituan-Dianpin…

目录 目录 1 1. 前言 1 2. 名词 1 3. 功能 1 4. 唯一性原理 2 5. 系统结构 2 5.1. mooon-uniq-agent 2 5.2. mooon-uniq-master 2 6. 限制 3 7. 核心思想 4 8. 编译&安装 4 9. 启动&运行 5 10. 编程使用 5 1. 前言 源码位置:https://github.com/eyjian/mooon/tree/master/application/uniq_id. mooon-uniq-id可单机运行…

一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. 相关厂商内容 优秀程序员应该了解的开发实践案例 从C#看开放对编程语言发展的影响 Netflix的工程文化:是什么在激励着我们? 百度贴吧之父:产品经理的发现和成长 Apache Kafka的过去,现在,和未来 相关赞助商   ZooKeeper 是一个开放源代码的分布式协调服务.它具有高性能.高可用的特点,同时也具…

0-前言 分布式系统中,分布式ID是个必须解决的问题点: 雪花算法是个好方式,不过不能直接使用,因为如果直接使用的话,需要配置每个实例workerId和datacenterId,在微服务中,实例一般动态配置,直接指定具体实例的这两个参数是不现实的: 所以,一般采用雪花算法的变种,主要是将这两个参数由手动配置改为动态生成,美团leaf.百度uid-generator都属于改良的变种算法,可以适当采用: 不过这些算法都或多或少对其他存在一定依赖,不是非常方便,今天我们来说一种非常方便的分布式ID解决…