Kettle简介 Kettle(网地址为http://kettle.pentaho.org/)是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制. Windows环境下的安装与配…

作者 | 伍冲斌  VPGAME 运维开发工程师 导读:VPGAME 是集赛事运营.媒体资讯.大数据分析.玩家社群.游戏周边等为一体的综合电竞服务平台.总部位于中国杭州,在上海和美国西雅图分别设立了电竞大数据研发中心和 AI 研发中心.本文将讲述 VPGAME 将服务器迁移至 Kubernetes 的过程. 背景 随着容器技术的日趋成熟,公司近期计划将服务迁移至容器环境,通过 Kubernetes 对容器进行调度.编排和管理.并借此机会,对服务进行标准化,优化整个 CI/CD 的流程,提高服务部…

从 Oracle 到 PostgreSQL ,某保险公司迁移实践 http://www.itpub.net/2019/11/08/4108/ 信泰人寿保险股份有限公司 摘要:去O一直是金融保险行业永恒的话题,但去O的难度之大也只有真正经历过的人才知其中的艰辛.此次笔者结合实际去O工作,对去O过程中碰到的DBLINK.SEQUENCE最大值.空串.SQL语句中的别名等等近50个问题进行探讨,绝对是干货满满,诚意十足! 章晨曦(某保险公司技术经理) Oracle ACE-A,Oracle 10g O…

VPGAME 是集赛事运营.媒体资讯.大数据分析.玩家社群.游戏周边等为一体的综合电竞服务平台.总部位于中国杭州,在上海和美国西雅图分别设立了电竞大数据研发中心和 AI 研发中心.本文将讲述 VPGAME 将服务器迁移至 Kubernetes 的过程. 背景 随着容器技术的日趋成熟,公司近期计划将服务迁移至容器环境,通过 Kubernetes 对容器进行调度.编排和管理.并借此机会,对服务进行标准化,优化整个 CI/CD 的流程,提高服务部署的效率. CI/CD 工具的选择 CI/CD 工具上,…

摘要: 本文向您详细介绍如何使用DataWorks数据同步功能,将Kafka集群上的数据迁移到阿里云MaxCompute大数据计算服务. 前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常.本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门. 本文使用的EMR Kafka版本信息如下:EMR版本: EMR-3.12.1集群类型: Kafka软件信息: Ganglia 3.7.2 ZooKeeper 3.4.12 Kafka 2…

数据及账号准备 首先您需要将数据上传至您的MongoDB数据库.本例中使用阿里云的云数据库 MongoDB 版,网络类型为VPC(需申请公网地址,否则无法与DataWorks默认资源组互通),测试数据如下.   { "store": { "book": [ { "category": "reference", "author": "Nigel Rees", "title&quo…

摘要:大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速.完全托管的EB级数据仓库解决方案.本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程. 直播视频回顾:MySQL/RDS数据如何同步到MaxCompute 以下内容根据演讲视频以及PPT整理而成. 实验方案概述 本实验是对RDS同步数据到MaxCom…

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:mikealzhou 本文重点介绍kafka的两类常见数据迁移方式:1.broker内部不同数据盘之间的分区数据迁移:2.不同broker之间的分区数据迁移. 一.broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍 最近,腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀,导致部分磁盘100%耗尽,而部分磁盘只有40%的消耗量. 分析原因,发现存在部分topic的分区数据过于集中在某…

前言什么是公钥和私钥?使用OpenssL生成私钥.使用Keytool导出私钥.主流数字证书都有哪些格式?SSL证书类型注册SSL证书使用OpenSSL工具生成CSR文件使用keytool工具生成CSR文件下载安装Nginx/TengineApacheTomcatIIS7/8注意事项补充 前言 以前想过全站https,但那个时候证书难搞,所以一直没动力去弄,这两年IOS和小程序相继强制使用https的接口,也预示着https的时代来临,所以花了2天做了写迁移工作,由于服务器用的都是阿里云全家桶,证…

摘要:本次分享主要介绍 Hive数据如何迁移到MaxCompute.MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能.技术架构和实现原理,再通过实际操作MMA,演示将Hive数据迁移到MaxCompute. 演讲嘉宾简介:阿里云智能产品专家-云花 精彩视频回顾:Hive数据如何同步到MaxCompute 以下内容根据演讲视频以及PPT整理而成. 本次分享主要围绕以下两个方面: 一.MMA功能介绍.技术架构和原…