作者 | 伍冲斌  VPGAME 运维开发工程师 导读:VPGAME 是集赛事运营.媒体资讯.大数据分析.玩家社群.游戏周边等为一体的综合电竞服务平台.总部位于中国杭州,在上海和美国西雅图分别设立了电竞大数据研发中心和 AI 研发中心.本文将讲述 VPGAME 将服务器迁移至 Kubernetes 的过程. 背景 随着容器技术的日趋成熟,公司近期计划将服务迁移至容器环境,通过 Kubernetes 对容器进行调度.编排和管理.并借此机会,对服务进行标准化,优化整个 CI/CD 的流程,提高服务部…

VPGAME 是集赛事运营.媒体资讯.大数据分析.玩家社群.游戏周边等为一体的综合电竞服务平台.总部位于中国杭州,在上海和美国西雅图分别设立了电竞大数据研发中心和 AI 研发中心.本文将讲述 VPGAME 将服务器迁移至 Kubernetes 的过程. 背景 随着容器技术的日趋成熟,公司近期计划将服务迁移至容器环境,通过 Kubernetes 对容器进行调度.编排和管理.并借此机会,对服务进行标准化,优化整个 CI/CD 的流程,提高服务部署的效率. CI/CD 工具的选择 CI/CD 工具上,…

本文介绍两个可行的K8s监控方案:Prometheus和Sensu.两个方案都能全面提供系统级的监控数据,帮助开发人员跟踪K8s关键组件的性能.定位故障.接收预警. 拓展阅读:Kubernetes监控实践(1):K8s的工作原理与监控实践 一.K8s监控之Prometheus 1.1 简介 Prometheus是针对容器和微服务的开源监控预警工具,功能稳健,适用于开发流程中的云端管理员和开发人员等各个相关方.Prometheus定时聚合配置对象中的指标数据,评估规则表达式,展示结果,发送预警.…

Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配…

本文由  网易云 发布. 概述 随着容器技术的发展,容器服务已经成为行业主流,然而想要在生产环境中成功部署和操作容器,关键还是容器编排技术.市场上有各种各样的容器编排工具,如Docker原生的Swarm.Mesos.Kubernetes等,其中Google开发的Kubernetes因为业界各大巨头的加入和开源社区的全力支撑,成为了容器编排的首选. 简单来讲,Kubernetes是容器集群管理系统,为容器化的应用提供资源调度.部署运行.滚动升级.扩容缩容等功能.容器集群管理给业务带来了便利,但是随…

微服务 + Docker + Kubernetes 入门实践: 微服务概念 微服务的一些基本概念 环境准备 Ubuntu & Docker 本文主要讲解在 Ubuntu 上安装和配置 Docker CE. 发布 .Net Core WebAPI 应用程序到 Docker 本文创建一个简单的 .net core webapi 项目,并通过 Docker 运行起来.涉及到 Dockerfile 编写,生成镜像,并运行镜像到容器里. 组合 ASP NET Core 和 SQL Server 本文模拟一…

上一篇< 01 | 健康之路 kubernetes(k8s) 实践之路 : 开篇及概况 >我们介绍了我们的大体情况,也算迈出了第一步.今天我们主要介绍下我们生产可用的集群架设方案.涉及了整体拓补图,和我们采用的硬件配置,目前存在的问题等内容. 遵循上一篇提到的系列风格,这边不涉及基础的内容,这些基础的内容大家可以通过官方文档或其它渠道进行补充,主要还是分享实践经验及注意点. 涉及到的内容 LVS HAProxy Harbor Etcd Kubernetes (master.node) 整体拓扑…

从 Oracle 到 PostgreSQL ,某保险公司迁移实践 http://www.itpub.net/2019/11/08/4108/ 信泰人寿保险股份有限公司 摘要:去O一直是金融保险行业永恒的话题,但去O的难度之大也只有真正经历过的人才知其中的艰辛.此次笔者结合实际去O工作,对去O过程中碰到的DBLINK.SEQUENCE最大值.空串.SQL语句中的别名等等近50个问题进行探讨,绝对是干货满满,诚意十足! 章晨曦(某保险公司技术经理) Oracle ACE-A,Oracle 10g O…

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:mikealzhou 本文重点介绍kafka的两类常见数据迁移方式:1.broker内部不同数据盘之间的分区数据迁移:2.不同broker之间的分区数据迁移. 一.broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍 最近,腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀,导致部分磁盘100%耗尽,而部分磁盘只有40%的消耗量. 分析原因,发现存在部分topic的分区数据过于集中在某…

近几年容器相关的技术大行其道,容器.docker.k8s.mesos.service mesh.serverless等名词相信大家多少都有听过,国内互联网公司无一不接触和使用相关技术. 健康之路早在2016年就启动了容器化的评估.眼观现在容器化相关技术的稳定性和可行性也得到了很多的验证,在这样的前提下我们启动了容器化实践之路. 当然在实践的过程中我们也不乏遇到了一些问题,我们希望通过文字来记录和分享我们遇到的一些事情,也希望为大家的容器化之路带来帮助. 概要 目标读者 此系列文章不会涉及到很多的…

一.Kubernetes介绍 Kubernetes(K8s)是一个开源平台,能够有效简化应用管理.应用部署和应用扩展环节的手动操作流程,让用户更加灵活地部署管理云端应用. 作为可扩展的容错平台,K8s几乎能够部署在所有基础设施中,与Google Cloud.MS Azure及AWS等公有云.私有云.混合云.服务器集群.数据中心等完美兼容.Kubernetes最大的亮点在于支持容器自动部署和自动复制.这也是大量云端微服务基础设施部署在K8s上的原因. 二.K8s由来 K8s最初是由Google工程…

1. 简介 在本章中,我们将学习不同的Kubernetes对象,它们的用途以及如何与它们交互. 在设置集群或使用现有集群之后,我们可以开始部署一些工作负载.Kubernetes中最小的计算单元不是一个容器,而是一个Pod对象.也就是说,Pod不是我们用于工作负载的唯一抽象.Kubernetes有各种各样的工作负载对象来控制如何部署.扩展和管理pod. 部署工作负载并不是开发人员或管理员必须执行的唯一任务.Kubernetes为容器和编配的一些固有问题提供了解决方案,比如配置管理.跨节点网络.外部…

k8s中文文档 k8s概念比较多,有什么概念的疑惑的推荐看k8s中文文档. me的环境 操作系统:centos7 docker:1.12.6 环境跟me的不一致?不要慌,基本大部分操作都是行的通的. 还慌?那就直接用网页在线版的kubernets吧 kubernets单机版安装部署 kubernetes部署算是有一定门槛的.为了不从入门到放弃,推荐一开始安装单机版作为入门熟悉kubectl指令.了解工作原理. 安装流程,切换成root # 关闭centos自带的防火墙 $ sudo system…

首先,向大家科普下Kubernetes所选择的CNI网络接口,简单介绍下网络实现的背景. CNI即Container Network Interface,是一套容器网络的定义规范,包括方法规范.参数规范.响应规范等等.CNI只要求在容器创建时为容器分配网络资源.删除容器时释放网络资源.CNI与调用者之间的整个交互过程如下图所示: CNI实现与外界的交互都通过进程参数和环境变量传递,也只要求输出结果符合CNI规范即可,与实现语言也没什么特殊要求.比如Calico早期版本就使用Python实现了CN…

前言什么是公钥和私钥?使用OpenssL生成私钥.使用Keytool导出私钥.主流数字证书都有哪些格式?SSL证书类型注册SSL证书使用OpenSSL工具生成CSR文件使用keytool工具生成CSR文件下载安装Nginx/TengineApacheTomcatIIS7/8注意事项补充 前言 以前想过全站https,但那个时候证书难搞,所以一直没动力去弄,这两年IOS和小程序相继强制使用https的接口,也预示着https的时代来临,所以花了2天做了写迁移工作,由于服务器用的都是阿里云全家桶,证…

SequoiaDB 一款自研金融级分布式数据库产品,支持标准SQL和分布式事务功能.支持复杂索引查询,兼容 MySQL.PGSQL.SparkSQL等SQL访问方式.SequoiaDB 在分布式存储功能上,较一般的大数据产品提供更多的数据切分规则,包括:水平切分.范围切分.主子表切分和多维切分方式,用户可以根据不用的场景选择相应的切分方式,以提高系统的存储能力和操作性能. 为了能够提供简单便捷的数据迁移和导入功能,同时更方便地与传统数据库在数据层进行对接,巨杉数据库支持多种方式的数据导入,用户可…

来源:分布式实验室译者:qianghaohao本文主要介绍将 Kong 微服务网关作为 Kubernetes (https://www.alauda.cn)集群统一入口的最佳实践,之前写过一篇文章使用 Nginx Ingress Controller 作为集群统一的流量入口:使用 Kubernetes Ingress 对外暴露服务,但是相比于 Kong Ingress Controller来说,Kong 支持的功能更加强大,更适合微服务架构:拥有庞大的插件生态,能轻易扩展 Kong 支持的功能,…

作者陈鹏,腾讯工程师,负责腾讯云 TKE 的售中.售后的技术支持,根据客户需求输出合理技术方案与最佳实践,为客户业务保驾护航.使用 TKE 来组建 Kubernetes 集群时,会面对各种配置选项,本文将介绍几个比较重要的功能选型,给出对比与选型建议,让大家少走弯路.Kubernetes 版本Kubernetes 版本迭代比较快,新版本通常包含许多 bug 修复和新功能,旧版本逐渐淘汰,建议创建集群时选择当前 TKE 支持的最新版本,后续出新版本后也是可以支持 Master 和节点的版本升级的.…

       所谓跨平台迁移,对于了解openstack冷迁移过程的同学来说,其实就是手动去执行冷迁移的代码行为,当然像我这种抵制体力劳动的人,肯定会想写脚本去跑,即使不会也要边学边用. 迁移并非想象的简单,原因大概有几点: 1.网络的迁移,浮动ip的迁移: 2.虚机数量众多,光传输数据就是几十个T,而且得保持虚拟机所有信息不能有一点错误: 3.虚机类型多,类型包括本地虚机.卷虚机.以及原本是卷虚机的本地虚机,都没有尝试过方案是否可行: 4.I版镜像和K版使用的镜像差异较大,I版有些很老的镜像还…

迁移背景 cassandra集群隔段时间出现rt飙高的问题,带来的影响就是请求cassandra短时间内出现大量超时,这个问题发生已经达到了平均两周一次的频率,已经影响到正常业务了.而出现这些问题的原因主要有以下3点: 当初设计表的时候partition key设计的不是很合理,当数据量上去(最大的单表行数达到百亿级)之后,出现了一些数据量比较大的partition.单partition最多的数据量达到了上百万行(cassandra不支持mysql的limit m, n的查询),当查询这个par…

摘要:LeNet-5是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络,当年美国大多数银行就是用它来识别支票上面的手写数字的,它是早期卷积神经网络中最有代表性的实验系统之一.可以说,LeNet-5就相当于编程语言入门中的“Hello world!”. 华为的昇腾训练芯片一直是大家所期待的,目前已经开始提供公测,如何在昇腾训练芯片上运行一个训练任务,这是目前很多人都在采坑过程中,所以我写了一篇指导文章,附带上所有相关源代码.注意,本文并没有包含环境的安装,请查看另外相关文档.…

随着net core的不断更新和生产可用,越来越多的人把现有的应用迁移和部署到net core平台.本文将分享迁移过程中的一个环节,给大家做一下参考. 背景说明 先来介绍一下什么是SDK样式的文件结构.关注net core发展的同学应该对早期的项目定义文件project.json还有点印象..net开发组在net core 1.0版本时是准备抛弃xml格式的csproj文件而改为json格式的project.json来定义和描述项目的.但是后来主要由于MSBuild的兼容问题,不得不放弃proj…

近日,灵雀云发布了基于OVN的Kubernetes网络组件Kube-OVN,并正式将其在Github上开源.Kube-OVN提供了大量目前Kubernetes不具备的网络功能,并在原有基础上进行增强.通过将OpenStack领域成熟的网络功能平移到Kubernetes,来应对更加复杂的基础环境和应用合规性要求.目前Kube-OVN项目代码已经在Github 上开源,项目地址为:https://github.com/alauda/kube-ovn.项目使用宽松的Apache 2.0 协议,欢迎更多…

大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔,感谢社区的邀请来参与这次分享,关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用. 本次演讲主要包含四个部分: 平台建设的背景 大数据平台重构 大数据调度平台建设 下一步规划 王昱翔 当贝大数据平台基础开发工程师 毕业于电子科技大学,主要是做大数据平台的构建.集成及组件的运维的工作. 01 背景 在当贝网络科技使用 Apache DolphinScheduler 作为大数据调度平台之前,我们在…

flink为了保证线上作业的可用性,提供了ha机制,如果发现线上作业失败,则通过ha中存储的信息来实现作业的重新拉起. 我们在flink的线上环境使用了zk为flink的ha提供服务,但在初期,由于资源紧张,只是对zk进行了standalone的部署,但是在后期的使用中,发现单节点的集群很难提供很高的可用性, 所以就尝试将目前的standalone的zk服务扩展为cluster的zk服务,这其中,也踩了不少坑. 第一次尝试,将standalone的zk扩展为cluster 扩展为cluster很…

最近在做oracle到greenplum的迁移实践,步骤如下: 1. 使用ora2pg实现Oracle的数据结构迁移到GP的实现过程 2. Oracle的数据迁移到GP的实现过程   1. ora2pg的使用  地址: https://github.com/darold/ora2p  关系图如下:   需要安装DBD-oracle,DBD-pg,DBI模块,配置conf后可以把oracle的数据结构(table,view,package等)转化成PG的数据结构.也可以配置直接把oracle库的数…

一.  Kubernetes 介绍 Kubernetes是一个全新的基于容器技术的分布式架构领先方案, 它是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernetes也叫K8S.K8S是Google内部一个叫Borg的容器集群管理系统衍生出来的,Borg已经在Google大规模生产运行十年之久.K8S主要用于自动化部署.扩展和管理容器应用,提供了资源调度.部署管理.服务发现.扩容缩容.监控等一整套功能.2015年7月,Kubernetes v1.0正式发布,截…

kubernetes 学习 kubernetes 简介 Kubernetes这个名字源自希腊语,意思是"舵手",也是"管理者","治理者"等词的源头.k8s是Kubernetes的简称(用数字『8』替代中间的8个字母『ubernete』). Kubernetes不是PaaS(平台即服务). Kubernetes并不对支持的应用程序类型有任何限制. 它并不指定应用框架,限制语言类型,也不仅仅迎合 12-factor应用程序模式. Kubernete…

[原文].后面我们可能还会看到一个 OOMKilled 错误. 我们的应用正在挂掉?为什么? 首先我们查看应用日志.假定你发送应用日志到 stdout(事实上你也应该这么做),你可以使用 kubectl logs看到应用日志: $ kubectl logs crasher-2443551393-vuehs 不幸的是,这个 Pod 没有任何日志.这可能是因为我们正在查看一个新起的应用实例,因此我们应该查看前一个容器: $ kubectl logs crasher-2443551393-vuehs …

一.迁移简介 迁移: 系统的迁移是指把源主机上的操作系统和应用程序移动到目的主机,并且能够在目的主机上正常运行.在没有虚拟机的时代,物理机之间的迁移依靠的是系统备份和恢复技术.在源主机上实时备份操作系统和应用程序的状态,然后把存储介质连接到目标主机上,最后在目标主机上恢复系统.随着虚拟机技术的发展,系统的迁移更加灵活和多样化最终我们迁移的目的就是: 简化系统维护管理 高系统负载均衡 增强系统错误容忍度 优化系统电源管理 二.热迁移 KVM 虚拟机的热迁移 ---Live Migration: 服…