背景 大数据发展至今,按照 Google 2003年发布的<The Google File System>第一篇论文算起,已走过17个年头.可惜的是 Google 当时并没有开源其技术,"仅仅"是发表了三篇技术论文.所以回头看,只能算是揭开了大数据时代的帷幕.随着 Hadoop 的诞生,大数据进入了高速发展的时代,大数据的红利及商业价值也不断被释放.现今大数据存储和处理需求越来越多样化,在后 Hadoop 时代,如何构建一个统一的数据湖存储,并在其上进行多种形式的数据分析,…
前言 Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架,已于近期完成了 v0.6.0 版本的正式发布.腾讯云容器 TKE 团队一直致力于参与 Fluid 社区建设,在最新版本中贡献了以下两大特性:缓存引擎高可用运行时.新增数据缓存引擎实现 GooseFSRuntime . 什么是存算分离?云原生背景下为什么需要数据编排?Fluid 和 GooseFSRuntime 又是什么?别担心!针对这些问题,我们带你一一探索.本文将首先介绍 Fluid 技术…
作者|张磊 阿里云容器平台高级技术专家,CNCF 官方大使 "未来的软件一定是生长于云上的"这是云原生理念的最核心假设.而所谓"云原生",实际上就是在定义一条能够让应用最大程度利用云的能力.发挥云的价值的最佳路径.在这条路径上,脱离了"应用"这个载体,"云原生"就无从谈起:容器技术,则是将这个理念落地.将软件交付的革命持续进行下去的重要手段之一. 云原生技术发展简史 2004 年- 2007 年,Google 已在内部大规模地…
伴随着以 Kubernetes 为代表的云原生技术体系的日益成熟以及 CNCF 生态的逐渐壮大,“云原生”已然成为了未来云计算时代里一个当仁不让的关键词.但是,到底什么是“云原生”?云原生与 CNCF.Kubernetes 又是什么关系呢?云原生的技术浪潮已经来袭,作为云计算时代的开发者和从业者,我们又该如何将云原生技术在自己所在的组织中落地.在这次名为“云原生”的技术革命中站稳脚跟呢? 作为这个“云原生”技术社区多年的亲历者和实践者,我们深知让技术真正触达每一位开发者的心智绝非易事.为此,我们…
2019年5月14日,喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的 EB 级大数据计算平台.该平台依托阿里云飞天基础架构,是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分.10年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台. 这里要说的是,MaxCompute依托于阿里云的飞天基础架构,与今天业界常见的依托虚拟机技术 +…
自从计算机出现以来,我们一直在尝试寻找计算机存储一些信息的方法,存储在计算机上的信息(也称为数据)有多种形式,数据变得如此重要,以至于信息现在已成为触手可及的商品.多年来数据以多种方式存储在计算机中,包括数据库.blob存储和其他方法,为了进行有效的业务分析,必须对现代应用程序创建的数据进行处理和分…
DataStax最近发布了K8ssandra--一个开源的.部署于Kubernetes上的Apache Cassandra全新发行版本.K8ssandra一站式集合了在Kubernetes上部署开源版Apache Cassandra所需的一切. Apache Cassandra在可伸缩且零宕机的数据库中处于领先地位.包括了Home Depot.Netflix以及Apple等跨国公司正在使用Apache Cassandra.Cassandra支持一系列数据库的应用场景--从金融服务交易到娱乐流媒体…
在这篇指南中,你将获得使用 Kubernetes 和 Istio 使用 GitOps 进行渐进式交付(Progressive Delivery)的实际经验. 介绍 gitops-istio GitOps 是什么? GitOps 是一种进行持续交付的方式,它使用 Git 作为声明性(declarative)基础设施和工作负载(workloads)的真实来源. 对于 Kubernetes,这意味着使用 git push 而不是 kubectl apply/delete 或 helm install/…
简介: 数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁.阿里云数据库产品事业部总裁.ACM杰出科学家李飞飞就<云原生分布式数据库与数据仓库系统点亮数据上云之路>进行了精彩分享. 云计算时代,云原生分布式数据库和数据仓库开始崛起,提供弹性扩展.高可用.分布式等特性. 数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁.阿里云数据库产品事业部总裁.ACM杰出科学家…
作者 张鹏,腾讯云容器产品工程师,拥有多年云原生项目开发落地经验.目前主要负责腾讯云 TKE 云原生 AI 产品的开发工作. 谢远东,腾讯高级工程师,Kubeflow Member.Fluid(CNCF Sandbox) 核心开发者,负责腾讯云 TKE 在 AI 场景的研发和支持工作. 概述 随着 Kubernetes 的日趋成熟,越来越多的公司.企业开始使用 K8s 来构建自己的云原生平台,基于 kubernetes 良好的扩展性以及成熟稳定的架构,你可以快速部署并管理自己的云原生应用. 目前…
作者 | 黄玉奇(徙远)  阿里巴巴高级技术专家 关注"阿里巴巴云原生"公众号,回复关键词 1219 即可下载本文 PPT 及实操演示视频. 导读:伴随 5G.IoT 的发展,边缘计算正在成为云计算的新边界,而规模和复杂度的日益提升对边缘计算的效率.可靠性.资源利用率等一系列能力又提出了新的诉求.试想,如果能将云能力从中心往边缘触达,上述问题是不是将迎刃而解?在云原生时代构建云到边的触达通路,保持云边一致性体验,我们的抓手又在哪里呢?本文将一一为你揭晓. 云原生的理念现今正如火如荼.它…
在 Apache ShardingSphere 5.1.1 发布后,ShardingSphere 合并了来自全球的团队或个人的累计 1028 个 PR,为大家带来 5.1.2 新版本.该版本在功能.性能.测试.文档.示例等方面均有不少优化. 值得一提的是,本次更新带来了以下全新功能: ShardingSphere-Proxy Helm Chart SQL 方言翻译 以 Driver 形式使用 ShardingSphere-JDBC 这些全新的能力让 ShardingSphere 的数据网关能力得…
作者:Janakiram MSV 译者:殷龙飞 原文地址:https://thenewstack.io/how-to-map-cloud-native-workloads-to-kubernetes-controllers/ Kubernetes 不仅仅是一个容器管理工具.它是一个平台,旨在处理包装在任意数量的容器和组合中的各种工作负载.Kubernetes内置了多个控制器,可映射到云原生架构的各个层. DevOps工程师可以将Kubernetes控制器视为指示团队运行的各种工作负载的基础架构需…
http://www.infoq.com/cn/articles/kubernetes-and-cloud-native-app-container-design-pattern <Kubernetes与云原生应用>专栏是InfoQ向轻元科技首席架构师王昕约稿的系列文章.本专栏包含8篇内容,将会从介绍和分析Kubernetes系统以及云原生应用入手,逐步推出基于Kubernetes的容器设计模式实践案例,希望对计划应用Kubernetes的朋友有所帮助.本文是该专栏的第三篇,阅读本系列全部内容…
一.简介:(https://www.imooc.com/learn/978) 在2017年Kubernetes战胜了两个强大的竞争对手Swarm和Mesos,成为容器管理与调度编排领域的首选平台和事实标准. 本门课程共分为五个部分. 第一部分:了解一下应用部署运行模式的变迁,弄清楚每种应用部署运行模式的特点.对开发者的影响以及模式演进的趋势. 第二部分:了解Kubernetes究竟是什么? 我们为什么要使用Kubernetes,它能给开发者带来哪些好处? 第三部分:我们将实际操作如何在Kuber…
前言 云原生应用的设计理念已经被越来越多的开发者接受与认可,而Kubernetes做为云原生的标准接口实现,已经成为了整个stack的中心,云服务的能力可以通过Cloud Provider.CRD Controller.Operator等等的方式从Kubernetes的标准接口向业务层透出.开发者可以基于Kubernetes来构建自己的云原生应用与平台,Kubernetes成为了构建平台的平台.今天我们会向大家介绍一个云原生应用该如何在Kubernetes中无缝集成监控和弹性能力. 本文整理自由…
云原生技术的发展正在改变全球软件业的格局,随着云原生技术生态体系的日趋完善,灵雀云的云原生平台也进入了成熟阶段.近日,灵雀云发布重大产品升级,推出全栈云原生开放平台ACP 3.0.作为面向企业级用户的云原生平台,ACP 3.0遵循"云原生+开源"的思路,同时对接了大量的第三方商业化产品和服务,真正实现一体全栈,帮助企业加速构建.运行及管理现代化应用. 作为曾两度入选Gartner容器和PaaS领域权威报告的厂商,灵雀云基于对云原生技术的前瞻探索和客户场景需求的敏锐把握,不断进行产品迭代…
近日,网易云通过KCSP认证,正式成为CNCF官方认可的Kubernetes服务提供商,也标志着网易云在云原生领域的技术实力得到了业界认可. Kubernetes是第一个从CNCF毕业的开源项目,凭借众多的商业成功实践和广泛的社区支持,Kubernetes已成为云原生工作负载编排平台的事实标准.CNCF一直致力于推动云原生技术和服务的发展,KCSP 项目旨在对Kubernetes服务商进行严格评审,标注出那些具备丰富经验的服务商,通过支持.咨询.专业服务或培训等帮助其它企业成功采用Kuberne…
​ 到底什么是“云原生”?云原生与 CNCF.Kubernetes 是什么关系?作为云计算时代的开发者和从业者,我们该如何在“云原生”的技术浪潮中站稳脚跟,将云原生落地.实现个人的自我升级呢? 2019年 4 月 17 日,阿里云与 CNCF(Cloud Native Computing Foundation) 共同开发的<CNCF x Alibaba 云原生技术公开课>就正式上线了.在这门公开课里,来自全球“云原生”技术社区的亲历者和领军人物,将一起来为每一位中国开发者讲解和剖析关于“云原生…
业界要闻 Gartner 发布云原生基础设施未来的八大趋势:权威分析机构 Gartner 在对 2020 年技术趋势的展望当中指出:“预计2020年所有领先的容器管理软件均内置服务融合技术,到2022年有75%的全球化企业将在生产中使用容器化的应用.还有50%的应用软件将容器化适应超融合环境”.Gartner 在报告中表示,未来基础设施技术演进的八大趋势包括: 多云与混合云: Service Mesh: 基于 Kubernetes 的 fPaaS(即:函数计算 PaaS): 裸金属容器和微虚拟机…
摘要:KubeEdge设备管理架构的设计实现,有效帮助用户处理设备数字孪生进程中遇到的场景. 本文分享自华为云社区<KubeEdge:下一代云原生边缘设备管理标准DMI的设计与实现>. 随着5G.AI.分布式云等技术的成熟发展,万物互联.数字孪生.算力泛在等理念不断推进,带来了很多行业业务的创新,越来越多的设备.应用运行在端侧,并产生大量的数据.如何更好地解耦业务应用开发和设备数据访问,为设备提供完整的生命周期数据管理,释放设备数据的价值?如何在保证集群可用性的同时,高效管理和传输设备数据,获…
@ 目录 概述 定义 常见CICD工具 使用好处 组件 基本概念 安装 前提条件 安装Tekton Pipelines 创建并运行任务 安装Dashboard 安装Cli Pipelines示例演示 概述 定义 Tekton 官网地址 https://tekton.dev/ Tekton 最新官网文档 https://tekton.dev/docs/ Tekton GitHub源码地址 https://github.com/tektoncd Tekton是一个强大.灵活的构建 CI/CD 流水线…
作者|张磊 阿里云容器平台高级技术专家,CNCF 官方大使 编者说: 从 2015 年 Google 牵头成立 CNCF 以来,云原生技术开始进入公众的视线并取得快速的发展,到 2018 年包括 Google.AWS.Azure.Alibaba Cloud 等大型云计算供应商都加入了云原生基金会 CNCF,云原生技术也从原来的应用容器化发展出包括容器.Service Mesh.微服务.不可变基础设施.Serverless.FaaS 等众多技术方向,CFCF 旗下也囊括了越来多的开源项目. Kub…
点击下载<Knative 云原生应用开发指南> 自 2018 年 Knative 项目开源后,就得到了广大开发者的密切关注.Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务,让应用开发者可以不用为底层的基础设施分心,把更多的精力投入到业务逻辑上. Knative 的一个很重要的目标就是制定云原生.跨平台的 Serverless 编排标准.它的优势在于: 基于 Kubernetes 实现 Serverless 编排: 基于 Istio 实现服务的…
起源和发展 Pivotal 是云原生应用的提出者,并推出了 Pivotal Cloud Foundry 云原生应用平台和 Spring 开源 Java 开发框架,成为云原生应用架构中先驱者和探路者. CNCF,全称Cloud Native Computing Foundation(云原生计算基金会),成立于 2015 年7月21日(于美国波特兰OSCON 2015上宣布),其最初的口号是坚持和整合开源技术来让编排容器作为微服务架构的一部分,其作为致力于云原生应用推广和普及的一支重要力量,不论您是…
本周作者 | 衷源.心贵 业界要闻 1.Kubernetes Release v1.15 版本发布,新版本的两个主题是持续性改进和可扩展性.(https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md#kubernetes-v115-release-notes) 2.Helm 这款包管理工具, 作为业界 Kubernetes 上应用分发的事实标准,其 v3.0.0-alpha.1 正式发布,这是 Helm 3 的第…
2019 年 6 月 24 日至 26 日, 由 Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会 KubeCon + CloudNativeCon + Open Source Summit(上海 )即将在中国上海盛装启幕. 继 2018 年 KubeCon 首次成功登陆中国,本届 KubeCon 将吸引来自全世界数千名技术人员将会参加此次盛会,参与CNCF 全部项目和话题的深度探讨和案例分析,聆听 CNCF 项目的运维者和最终用户的分享.本…
传送门 什么是云原生? 云原生设计理念 .NET微服务 Containers 现在谈到云原生, 绕不开"容器". 在<Cloud Native Patterns>一书中,作者Cornelia Davis指出:"容器是云原生应用的基石": 云原生基金会将微服务容器化作为云原生旅行的第一步. 很容易就想到将微服务容器化, 过程也很简单. 将代码.依赖项和运行时打包到一个称为容器镜像的二进制文件中.镜像存储在镜像仓库,Docker官方维护了Docker Hub…
蒋彪,腾讯云高级工程师,10+年专注于操作系统相关技术,Linux内核资深发烧友.目前负责腾讯云原生OS的研发,以及OS/虚拟化的性能优化工作. 导语 云原生场景,相比于传统的IDC场景,业务更加复杂多样,而原生 Linux kernel 在面对云原生的各种复杂场景时,时常显得有些力不从心.本文基于一个腾讯云原生场景中的一个实际案例,展现针对类似问题的一些排查思路,并希望借此透视Linux kernel的相关底层逻辑以及可能的优化方向. 背景 腾讯云客户某关键业务容器所在节点,偶发CPU sys…
作者 | 张添翼 来源 | 尔达Erda公众号 ​ 云原生下的机遇和挑战 标准和生态的意义 自从 Kubernetes v1.0 于 2015 年 7 月 21 日发布,CNCF 组织随后建立以来,其后几年,Kubernetes 和 CNCF 都经历了如火如荼的发展.时至今日,Kubernetes 已经进入成熟期,云原生时代则刚刚开始.虽然说云原生不只是围绕着 Kubernetes 的生态,但无可质疑,Kubernetes 已经是云原生生态的基石.通过规范 API 和 CRD 标准,Kubern…