注意:这篇文章并不是一篇入门教程,学习 Argo Workflow 请移步官方文档 Argo Documentation Argo Workflow 是一个云原生工作流引擎,专注于编排并行任务.它的特点如下: 使用 Kubernetes 自定义资源(CR)定义工作流,其中工作流中的每个步骤都是一个容器. 将多步骤工作流建模为一系列任务,或者使用有向无环图(DAG)描述任务之间的依赖关系. 可以在短时间内轻松运行用于机器学习或数据处理的计算密集型作业. Argo Workflow 可以看作 Tek

作者 | 陈洁.高相林.陈有坤.敖小剑 业界要闻 Argo 项目加入 CNCF 孵化器 Argo 项目是一组 Kubernetes 原生工具,用于运行和管理 Kubernetes 上的作业和应用程序.目前由 Argo Workflows,Argo Events,Argo CD 和 Argo Rollouts 四个子项目组成.4 月 8 日,CNCF 技术监督委员会(Technical Oversight Committee,TOC)投票决定接受 Argo 作为孵化级别的托管项目. Argo CD

1. 介绍 Drone by Harness 是一个基于Docker容器技术的可扩展的持续集成引擎,用于自动化测试.构建.发布.每个构建都在一个临时的Docker容器中执行,使开发人员能够完全控制其构建环境并保证隔离.开发者只需在项目中包含 .drone.yml文件,将代码推送到 git 仓库,Drone就能够自动化的进行编译.测试.发布.可以与Docker完美集成. https://docs.drone.io/ 特点 Drone引入了Pipelnes的概念,管道可帮助我们自动化软件交付过程中的

按照上篇文章<解锁云原生 AI 技能 | 在 Kubernetes 上构建机器学习系统>搭建了一套 Kubeflow Pipelines 之后,我们一起小试牛刀,用一个真实的案例,学习如何开发一套基于 Kubeflow Pipelines 的机器学习工作流. 准备工作 机器学习工作流是一个任务驱动的流程,同时也是数据驱动的流程,这里涉及到数据的导入和准备.模型训练 Checkpoint 的导出评估.到最终模型的导出.这就需要分布式存储作为传输的媒介,此处使用 NAS 作为分布式存储. 创建分布

[编者的话]“人间四月芳菲尽,山寺桃花始盛开.” 越来越多专门给 Kubernetes 做应用发布的工具开始缤纷呈现,帮助大家管理和发布不断增多的 Kubernetes 应用.在做技术选型的时候,我们需要给业务选择一个最好的工具.最稳的底座.那我们又该如何比较和衡量这些工具的呢?在这篇文章中阿里一线工程师给大家分享自己独特的体验.洗尽铅华,一起品味这“山寺桃花”. 背景 近年来,伴随着云原生社区(CNCF Community)的迅猛发展,越来越多的应用跑在了 Kubernetes 上.慢慢地,大

本文主要以部署前端Vue项目为例,讲述了如何基于云原生DevOps服务自动化部署前端项目~从开发完成到线上环境,我们只需提交代码即可~ 一.引言 作为一名开发人员,日常工作中我们除了需要负责代码的开发外,通常还需要负责代码的部署,运维等工作.而在传统的手工部署方法中,在每次版本迭代或需求变更完成后,除了将代码提交到代码仓库外,如果需要更新线上环境,我们还需要重复本地构建打包.连接远程服务器.上传代码到服务器指定目录等步骤.这些步骤虽然简单,但是通常耗时耗力,若同时存在多个环境时,也容易引起部署错

作者 何鹏飞,腾讯云专家产品经理,曾作为容器私有云.TKEStack的产品经理兼架构师,参与腾讯云内部业务.外部客户容器化改造方案设计,目前负责云原生混合云产品方案设计工作. 胡晓亮,腾讯云专家工程师,专注云原生领域.目前负责开源社区TKEStack和混合云项目的设计和开发工作. 前言 混合云是一种部署形态,一方面企业可从资产利旧.成本控制.控制风险减少锁定等角度选择混合云.另一方面企业也可以通过混合业务部署获得不同云服务商的相对优势能力,以及让不同云服务商的能力差异形成互补. 而容器和混合云是

7 月 9 日,GOTC 2021 全球开源技术峰会上海站与 WAIC 世界人工智能大会共同举办,峰会聚焦 AI 与云原生两大以开源驱动的前沿技术领域,邀请国家级研究机构与顶级互联网公司的一线技术专家,为参会的开发者和技术爱好者带来了最硬的行业技术干货,提供了一个难得的技术交流平台. 在本次会议上,腾讯云高级工程师高策进行了题为"公有云上构建云原生 AI 平台的探索与实践"的技术分享,介绍了 AI 类业务在公有云上的现状以及相应的技术选型和面临的问题.最后通过分析开源社区和业界的趋势,

前言 Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架,已于近期完成了 v0.6.0 版本的正式发布.腾讯云容器 TKE 团队一直致力于参与 Fluid 社区建设,在最新版本中贡献了以下两大特性:缓存引擎高可用运行时.新增数据缓存引擎实现 GooseFSRuntime . 什么是存算分离?云原生背景下为什么需要数据编排?Fluid 和 GooseFSRuntime 又是什么?别担心!针对这些问题,我们带你一一探索.本文将首先介绍 Fluid 技术

中国 72% 的受访者生产中使用 Kubernetes 在 CNCF,为更好地了解开源和云原生技术的使用,我们定期调查社区.这是第三次中国云原生调查,以中文进行,以便更深入地了解中国云原生技术采用的步伐及如何在庞大且不断发展的社区中赋能开发者并作出变革.本报告基于 2018 年 3 月和 2018 年 11 月发布的前两份中国报告. ** https://www.cncf.io/blog/2018/03/26/cncf-survey-china/ https://www.cncf.io/blog

本文为 CODING 创始人兼 CEO 张海龙在腾讯云 CIF 工程效能峰会上所做的分享. 文末可前往峰会官网,观看回放并下载 PPT. 大家上午好,很高兴能有机会与大家分享 CODING 最近的一些新动作.今天主要分享的内容是 CODING 的战略升级和新产品介绍.在讲整个战略升级之前,我们先来讲一讲"为什么要做云原生时代的标准化工具".大家都知道 CODING 一直在做开发者相关的工具,从代码托管开始,后来又做了 CI/CD.项目管理.制品库等等一系列工具.那么为什么我们认为在这个

作者|刘浩杨 来源|尔达 Erda 公众号 ​ 本文整理自刘浩杨在 GopherChina 2021 北京站主会场的演讲,微信添加:Erda202106,联系小助手即可获取讲师 PPT. 前言 当今时代,数字化转型概念在 ToB 领域非常火热,越来越多的企业需要数字化转型,因此越来越多的厂商涌入了 ToB 市场,端点就是其中一员. ​ 端点的核心业务是给企业提供从采购.交易.履约.仓储到零售全链路的数字化转型解决方案.围绕这个目的,我们建立了一整套面向云原生的企业数字化软件产品,其中: ​ Pa

作者 | 张添翼 来源 | 尔达Erda公众号 ​ 云原生下的机遇和挑战 标准和生态的意义 自从 Kubernetes v1.0 于 2015 年 7 月 21 日发布,CNCF 组织随后建立以来,其后几年,Kubernetes 和 CNCF 都经历了如火如荼的发展.时至今日,Kubernetes 已经进入成熟期,云原生时代则刚刚开始.虽然说云原生不只是围绕着 Kubernetes 的生态,但无可质疑,Kubernetes 已经是云原生生态的基石.通过规范 API 和 CRD 标准,Kubern

作者 | 林俊(万念) 来源 |尔达 Erda 公众号 从一个小故事开始 你是一个高级开发工程师. 某天,你自信地写好了自动煮咖啡功能的代码,并在本地调试通过.代码合并入主干分支后,你准备把服务发布到测试环境,进入提测流程. 你熟练地打开项目协同,新建了一个发布工单给运维同学,详细备注了需要发布的代码分支,并特别强调这次需要专门新增一个环境变量开关 AUTO_MAKE_COFFIE_ENABLED=true. 过了一段时间,工单处理完成,测试同学开始测试. 突然,噩耗传来:你的项目协同里出现了几

作者 张路,运营开发专家工程师,现负责游戏知几 AI 助手后台架构设计和优化工作. 游戏知几 随着业务不断的拓展,游戏知几AI智能问答机器人业务已经覆盖了自研游戏.二方.海外的多款游戏.游戏知几研发团队主动拥抱云原生,推动后台业务全量上云,服务累计核心1w+. 通过云上的容器化部署.自动扩缩容.健康检查.可观测性等手段,提高了知几项目的持续交付能力和稳定性,形成了一套适合游戏知几自身的上云实践方案.本文将会介绍游戏知几项目中遇到的痛点以及探索出的一套可靠的上云实践方案. 知几项目背景 游戏知几是

作者 卓晓光,腾讯广告高级开发工程师,负责新闻视频广告整体后台架构设计,有十余年高性能高可用海量后台服务开发和实践经验.目前正带领团队完成云原生技术栈的全面转型. 吴文祺,腾讯广告开发工程师,负责新闻视频广告流量变现相关后台开发工作,熟悉云原生架构在生产实践中的应用,拥有多年高性能高可用后台服务开发经验.目前正推动团队积极拥抱云原生. 陈宏钊,腾讯广告高级开发工程师,负责新闻视频广告流量变现相关后台开发工作,擅长架构优化升级,有丰富的海量后台服务实践经验.目前专注于流量场景化方向的广告系统探索.

CI/CD 流水线是 DevOps 团队软件交付过程的基本组成部分.该流水线利用自动化和持续监控来实现软件的无缝交付.通过持续自动化,确保 CI/CD 流水线每一步的安全性非常重要.在流水线的各个阶段,通常需要访问凭据等敏感信息.保护这些信息对于保持强大的安全态势至关重要.本文将带你了解如何在 Jenkins CI/CD 流水线中保护密钥(Secrets). 转自 SEAL安全 在 CI/CD 流水线中使用 Secrets 如前所述,CI/CD 流水线通常需要访问敏感信息,如密码和 API 密钥

@ 目录 概述 定义 工作原理 主要组件 核心概念 环境准备 概述 安装Kubekey 创建K8S 安装K9S OpenLB 安装ArgoCD 安装 ArgoCD CLI 从Git库中创建一个应用程序 概述 定义 ArgoCD 官网地址 https://argoproj.github.io/cd ArgoCD 最新官网文档 https://argo-cd.readthedocs.io/en/stable/ ArgoCD GitHub源码地址 https://github.com/argoproj

@ 目录 概述 定义 常见CICD工具 使用好处 组件 基本概念 安装 前提条件 安装Tekton Pipelines 创建并运行任务 安装Dashboard 安装Cli Pipelines示例演示 概述 定义 Tekton 官网地址 https://tekton.dev/ Tekton 最新官网文档 https://tekton.dev/docs/ Tekton GitHub源码地址 https://github.com/tektoncd Tekton是一个强大.灵活的构建 CI/CD 流水线

开发人员与运维人员是 IT 领域很重要的两大人群,他们都会参与到各种业务系统的建设过程中去.DevOps 是近年间火爆起来的一种新理念,这种理念被很多人错误的解读为"由开发人员(Dev)学习一大堆新的技能,从而掌握运维人员(Ops)该处理的事情".然而能力越大,责任越大,当维持生产环境稳定为要位的运维责任落到开发人员的肩头时,多数程序员发出了 扯淡的DevOps,我们开发者根本不想做运维! 的呼喊.那么在云原生时代,到底应该怎样达成 DevOps 的体验呢?我的观点是由平台工程来衔接这