apache flink kubernetes 运行试用
类似docker-compose 运行模式,使用的是deploy 的模式
deploy yaml 文件
deploy-k8s-yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: jobmanager
namespace: big-data
labels:
app: jobmanager
spec:
replicas: 1
template:
metadata:
labels:
app: jobmanager
spec:
containers:
- name: jobmanager
image: flink
imagePullPolicy: IfNotPresent
ports:
- containerPort: 6123
- containerPort: 8081
args: ["jobmanager"]
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: jobmanager
---
# 暴露service 方便taskmanager 连接
apiVersion: v1
kind: Service
metadata:
name: jobmanager
namespace: big-data
labels:
app: jobmanager
spec:
type: NodePort
ports:
- port: 8081
targetPort: 8081
protocol: TCP
name: http
- port: 6123
targetPort: 6123
protocol: TCP
name: rpc
- port: 6124
targetPort: 6124
protocol: TCP
name: blob
- port: 6125
targetPort: 6125
protocol: TCP
name: query
selector:
app: jobmanager
---
# 访问地址使用ingress
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: jobmanager
namespace: big-data
spec:
rules:
- host: flink.data.com
http:
paths:
- backend:
serviceName: jobmanager
servicePort: 8081
path: /
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: taskmanager
namespace: big-data
labels:
app: taskmanager
spec:
replicas: 3
template:
metadata:
labels:
app: taskmanager
spec:
containers:
- name: taskmanager
image: flink
imagePullPolicy: IfNotPresent
ports:
- containerPort: 6121
- containerPort: 6122
args: ["taskmanager"]
env:
- name: JOB_MANAGER_RPC_ADDRESS
value: jobmanager
部署
kubectl apply -f deploy-k8s-yaml
访问
简单batchjob demo
具体代码参考 https://github.com/rongfengliang/flink-docker-compose-demo/tree/master/flink-app
运行效果
参考资料
https://github.com/rongfengliang/flink-docker-compose-demo
https://github.com/apache/flink/tree/master/flink-examples/flink-examples-batch/src/main/java/org/apache/flink/examples/java/wordcount
apache flink kubernetes 运行试用的更多相关文章
- apache flink docker-compose 运行试用
apache 是一个流处理框架,官方提供了docker 镜像,同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1&q ...
- Apache Flink 分布式运行时环境
Tasks and Operator Chains(任务及操作链) 在分布式环境下,Flink将操作的子任务链在一起组成一个任务,每一个任务在一个线程中执行.将操作链在一起是一个不错的优化:它减少了线 ...
- Apache Flink - 分布式运行环境
1.任务和操作链 下面的数据流图有5个子任务执行,因此有五个并行线程. 2.Job Managers, Task Managers, Clients Job Managers:协调分布式运行,他们安排 ...
- Apache Flink系列(1)-概述
一.设计思想及介绍 基本思想:“一切数据都是流,批是流的特例” 1.Micro Batching 模式 在Micro-Batching模式的架构实现上就有一个自然流数据流入系统进行攒批的过程,这在一定 ...
- 官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行!
官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行! 原创 Apache 博客 [Flink 中文社区](javascript:void(0) 翻译 | 付典 Revie ...
- Apache Flink on K8s:四种运行模式,我该选择哪种?
1. 前言 Apache Flink 是一个分布式流处理引擎,它提供了丰富且易用的API来处理有状态的流处理应用,并且在支持容错的前提下,高效.大规模的运行此类应用.通过支持事件时间(event-ti ...
- Apache Flink 开发环境搭建和应用的配置、部署及运行
https://mp.weixin.qq.com/s/noD2Jv6m-somEMtjWTJh3w 本文是根据 Apache Flink 系列直播课程整理而成,由阿里巴巴高级开发工程师沙晟阳分享,主要 ...
- 终于等到你!阿里正式向 Apache Flink 贡献 Blink 源码
摘要: 如同我们去年12月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源.今天,我们终于等到了这一刻. 阿里妹导 ...
- Apache Flink 1.12.0 正式发布,DataSet API 将被弃用,真正的流批一体
Apache Flink 1.12.0 正式发布 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布!近 300 位贡献者参与了 Flink 1.12.0 的开发,提交 ...
随机推荐
- Android之MVC模式的使用
MVC全名是Model View Controller,是模型(model)-视图(view)-控制器(controller)的缩写,一种软件设计典范,用一种业务逻辑.数据.界面显示分离的方法组织代码 ...
- (转载)-关于sg函数的理解
最近学习了nim博弈,但是始终无法理解sg函数为什么sg[S]=mex(sg[S'] | S->S'),看到一篇博文解释的不错,截取了需要的几章节. 四.Sprague-Grundy数的提出 我 ...
- 54. 59. Spiral Matrix
1. Given a matrix of m x n elements (m rows, n columns), return all elements of the matrix in spiral ...
- 常用OS获取信息命令
一.linux#CPU信息(总核心数和型号) cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c #物理CPU数及每颗物理CPU中核心数(可能有 ...
- 【LeetCode】Unique Binary Search Trees II 异构二叉查找树II
本文为大便一箩筐的原创内容,转载请注明出处,谢谢:http://www.cnblogs.com/dbylk/p/4048209.html 原题: Given n, generate all struc ...
- dubbo的请求、响应对
dubbo中的请求和响应是如何关联起来的呢? 每一个请求和响应共用同一个id. public class DefaultFuture implements ResponseFuture { // in ...
- Python的数据类型2列表
Python的数值类型List,也就是列表 Python的列表比较类似与其他语言的数组概念,但他又与其他语言数组的概念有很大的不同 C语言.Java的数组定义是这样的,存储多个同类型的数值的集合就叫数 ...
- module_param和module_param_array用法
如何向模块传递参数? Linux kernel 提供了一个简单的框架.利用module_param和module_param_arra来实现. 1. module_param(name, type, ...
- oracle_sql语句的大全
# 建立数据库struts CREATE DATABASE IF NOT EXISTS struts DEFAULT CHARACTER SET GBK; 1.登录:(管理员)conn sys/p ...
- sring 监听器
参考链接:http://blog.csdn.net/ysughw/article/details/8992322 sring容器在web程序中获取的方式:http://blog.csdn.net/aq ...