业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐.基于 Flink 的数据平台构建.运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告.金融风控.实时 BI.实时数仓.实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验. Flink Forward Asia 倒计时 28 天,企业实践专题大会邀请了字节跳动.滴滴出行.快手.Bilibili.网易.爱奇艺.中国农业银行.奇虎360.贝壳找房.奇安信等不同行业一线技术专家分享 Apache…
维基百科在 IRC 频道上记录 Wiki 被修改的日志,我们可以通过监听这个 IRC 频道,来实时监控给定时间窗口内的修改事件.Apache Flink 作为流计算引擎,非常适合处理流数据,并且,类似于 Hadoop MapReduce 等框架,Flink 提供了非常良好的抽象,使得业务逻辑代码编写非常简单.我们通过这个简单的例子来感受一下 Flink 的程序的编写. 通过 Flink Quickstart 构建 Maven 工程 Flink 提供了 flink-quickstart-java…
原文地址:https://mp.weixin.qq.com/s?__biz=MzU2Njg5Nzk0NQ==&mid=2247483660&idx=1&sn=ecf01cfc8fd0b4f0630e9b23b92f4e82 本文简单介绍一下Flink,部分内容来源于网络,想深入了解Flink的读者可以参照官方文档深入学习Apache Flink. 流计算 在介绍Flink之前首先说一下流计算的概念,流计算是针对流式数据的实时计算. 流式数据是指将数据看作数据流的形式来处理,数据流是…
目录 1.引言 2.swagger简介 2.1 swagger 介绍 2.2 springfox.swagger与springboot 3. 使用springboot+swagger构建接口文档 3.1 springboot示例工程搭建 3.2 引入swagger2与基本配置 3.2.1 添加springfox-swagger依赖 3.2.2 配置swagger 3.2.3 查看swagger自动生成的描述文档 3.3 添加swagger-ui界面交互 4. [企业实践]配置参数化与包过滤 4.…
原文地址:http://www.sohu.com/a/112351816_355140 什么是DevOps及其误区 DevOps概念从2009年提出已有8个年头.可是在8年前的那个时候,为什么DevOps没有迅速走红呢?即便是在2006年Amazon发布了ECS,微软在2008年和2010年提出和发布了Azure,DevOps的重要性似乎都没有那么强烈.我分析其原因主要有: 第一个很重要的原因是因为那时候云计算还是小众产品,更多的与虚拟化.虚拟机相关,它们还是重量级的IT基础设施. 第二个很重要…
目录 1.引言 2. 输出 logback 状态数据 3. logback 异步输出日志 3.1 异步输出配置 3.2 异步输出原理 4. springboot 多环境下 logback 配置 5. MDC 分布式应用追踪请求 5.1 添加拦截器 5.1.1 拦截器实现 5.1.2 注册拦截器到web配置中 5.2 设置 MDC 日志输出 6. 总结 参考资料 往期文章 一句话概括:logback 在实现了基本的日志输出到文件功能后,在企业实践中,还会有其它的进阶需求,本文对logback的进阶…
目录 1.引言 2.logback简介 3. springboot默认日志框架-logback 3.1 springboot示例工程搭建 3.2 日志输出与基本配置 3.2.1 日志默认输出 3.2.2 基本配置 3.3 自定义logback配置 3.3.1 logback配置文件加载顺序 3.3.2 logback配置文件示例 4. logback配置文件详述 4.1 配置文件结构 4.2 根元素configuration 4.2.1 属性配置 4.2.2 定义上下文名称和变量 4.3 日志输…
目录 1.引言 2. swagger接口过滤 2.1 按包过滤(package) 2.2 按类注解过滤 2.3 按方法注解过滤 2.4 按分组过滤 2.4.1 定义注解ApiVersion 2.4.2 添加ApiVersion过滤 2.4.3 新建指定版本号分组的Docket 3. 接口mock数据 3.1 easy-mock安装 3.2 easy-mock + swagger实现mock数据 3.2.1 创建项目并添加swagger地址 3.2.2 自定义模拟数据 4.接口文档离线导出 4.1…
Apache Flink是什么 Flink是一款新的大数据处理引擎,目标是统一不同来源的数据处理.这个目标看起来和Spark和类似.没错,Flink也在尝试解决 Spark在解决的问题.这两套系统都在尝试建立一个统一的平台可以运行批量,流式,交互式,图处理,机器学习等应用.所以,Flink和Spark的目 标差别并不大,他们最主要的区别在于实现的细节,后面我会重点从不同的角度对比这两者. Apache Spark vs Apache Flink 1.抽象 Abstraction Spark中,对…
一.背景与痛点 在 2017 年上半年以前,TalkingData 的 App Analytics 和 Game Analytics 两个产品,流式框架使用的是自研的 td-etl-framework.该框架降低了开发流式任务的复杂度,对于不同的任务只需要实现一个 changer 链即可,并且支持水平扩展,性能尚可,曾经可以满足业务需求. 但是到了 2016 年底和 2017 年上半年,发现这个框架存在以下重要局限: 性能隐患:App Analytics-etl-adaptor 和 Game A…