flink 1.7.2 安装详解
##flink 1.7.2 安装
需要java环境
下载地址 https://flink.apache.org/downloads.html
#1、单机版
#创建用户flink
useradd flink -d /home/flink
echo "flink123" | passwd flink --stdin
#解压
tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz
#启动
cd flink-1.7.2/bin/ && ./start-cluster.sh
#测试
1、web页面查看:ip:8081 例如:http://192.168.88.132:8081
2、运行实例wordcount程序:cd flink-1.7.2/bin/ && ./flink run ../examples/batch/WordCount.jar
3、jps 查看进程
#2、独立集群版
#准备机器 /etc/hosts
192.168.88.130 lgh
192.168.88.131 lgh1
192.168.88.132 lgh2
#创建用户flink(所有机器)
useradd flink -d /home/flink
echo "flink123" | passwd flink --stdin
#ssh免密登录(在192.168.88.130,指定一台操作)
su - flink
ssh-keygen -t rsa
ssh-copy-id 192.168.88.131
ssh-copy-id 192.168.88.132
#解压
tar -zxvf flink-1.7.2-bin-hadoop26-scala_2.11.tgz
cd flink-1.7.2/conf
#修改配置文件
#1、masters
192.168.88.130:8081
#2、slaves
192.168.88.131
192.168.88.132
#3、flink-conf.yaml
cat flink-conf.yaml | grep -v ^# | grep -v "^$"
jobmanager.rpc.address: 192.168.88.130
jobmanager.rpc.port: 6123
env.java.home=/usr/java/default
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
rest.port: 8081
#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink
#启动
在主节点上:cd flink-1.7.2/bin/ && ./start-cluster.sh
#测试
1、web页面查看:ip:8081 例如:http://192.168.88.132:8081
2、运行实例wordcount程序:cd flink-1.7.2/bin/ && ./flink run ../examples/batch/WordCount.jar
3、jps 查看
#3、基于yarn的集群版(前提是安装好了hadoop)
hadoop的安装:可参考https://www.cnblogs.com/zsql/p/10736420.html
在独立集群的基础上:新增如下
#配置hadoop的环境变量 /etc/profile 或者 ~/.bashrc
export HADOOP_HOME=/apps/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_CONF_DIR=/etc/hadoop/conf
然后使用source命令使配置文件生效
#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink
#启动集群和yarn-session
cd flink-1.7.2 && ./start-cluster.sh
cd flink-1.7.2 && nohup ./bin/yarn-session.sh &
#测试
1、jps 查看进程
2、执行程序:./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
然后去hadoop的yarn页面查看作业,ip:8088
#4、高可用版(安装zookeeper,或者修改conf/zoo.cfg,推荐安装zookeeper)
zookeeper的安装可以参考:https://www.cnblogs.com/zsql/p/10736420.html
在基于yarn版本集群的基础上修改如下配置:
#1、masters
192.168.88.130:8081
192.168.88.131:8082
#2、flink-conf.yaml (一定要注意空格..踩过坑)
jobmanager.rpc.address: 192.168.88.130
jobmanager.rpc.port: 6123
env.java.home=/usr/java/default
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
high-availability: zookeeper
high-availability.zookeeper.path.root:/user/flink/root #该目录flink用户一定要有权限
high-availability.storageDir: hdfs:///user/flink/ha/ #该目录flink用户一定要有权限
high-availability.zookeeper.quorum: 192.168.88.130:2181,192.168.88.131:2181,192.168.88.132:2181
rest.port: 8081
#分发flink
scp -r flink-1.7.2 flink@192.168.88.131/home/flink
scp -r flink-1.7.2 flink@192.168.88.132/home/flink
#测试如上yarn集群
新增测试,kill掉一个主节点进程,看是否能跑作业
flink 1.7.2 安装详解的更多相关文章
- Linux ssh登录和软件安装详解
阿哲Style Linux第一天 ssh登录和软件安装详解 Linux学习第一天 操作环境: Ubuntu 16.04 Win10系统,使用putty_V0.63 本身学习Linux就是想在服务器 ...
- 【转】Linux下Android ADB驱动安装详解
原文网址:http://blog.csdn.net/zhenwenxian/article/details/5901350 Linux下Android ADB驱动安装详解 概述 最近由于内置的合作商比 ...
- scribefire 多博客管理利器 安装详解
scribefire 多博客管理利器 安装详解 一.ScribeFire介绍 ScribeFire 是 Firefox (火狐浏览器)上著名的博客写作工具,目前已跨平台支持多浏览器(Firefox,C ...
- CentOS 6.5的安装详解
CentOS 6.5的安装详解 主流: 目前的Linux操作系统主要应用于生产环境, 主流企业级Linux系统仍旧是RedHat或者CentOS 免费: RedHat 和CentOS差别不大,Cent ...
- Linux下tomcat的安装详解
Linux下tomcat的安装详解 来源: ChinaUnix博客 日期: 2007.01.21 22:59 (共有0条评论) 我要评论 一,安装前的准备:1,Linux版本:我的是企业版.(至于红帽 ...
- Phoenix和SQuirrel安装详解
Phoenix安装详解 描述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等.今天的主角是Phoenix. phoenix,中文译为“凤凰” ...
- zabbix agent安装详解
安装 Installing repository configuration package Zabbix 2.2 for RHEL5, Oracle Linux 5, CentOS 5: rpm - ...
- zabbix server安装详解
简介 zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以 ...
- Oracle Database 12c Release 2安装详解
第1章 Oracle Database 12c Release 2安装详解 1.1 下载方法 oracle官网https://www.oracle.com 1)打开官方网站,找到下载连接 2)选择更多 ...
随机推荐
- java集合框架使用原理分析
集合是我们日常编程中可能用的很多的技术之一 使用频率极高 可能平时就会知道怎么去用 但是集合之间的关系与不同之处都不是很清楚 对它们的底层原理更甚 所以写词文章 让自己有一个更深的认识 集合是一个庞大 ...
- 【动态规划DP】传娃娃-C++
传娃娃 描述 学习空闲之余,小信经常带着同学们做游戏,最近小信发明了一个好玩的新游戏:n 位同学围成一个圈,同学 A 手里拿着一个布娃娃.小信喊游戏开始,每位手里拿着娃娃的同学可以选择将娃娃传给左边或 ...
- [leetcode] 559. Maximum Depth of N-ary Tree (easy)
原题链接 思路: 简单bfs class Solution { public: int maxDepth(Node *root) { int depth = 0; if (root == NULL) ...
- rest-frameword框架的基本组件
序列化 1.models部分 from django.db import models # Create your models here. class Book(models.Model): tit ...
- 《PHP从入门到精通(第3版)》目录
一.基础知识 1.初识PHP 2.PHP环境搭建和开发工具 3.PHP语言基础 4.流程控制语句 5.字符串操作 6.正则表达式 7.PHP数组 8.PHP与Web页面交互 9.PHP与JavaScr ...
- 第一篇博客 安装open live writer
第一篇博客安装open live writer http://openlivewriter.org/ 有的人可能会打不开,所以我准备了一个百度云的链接地址 链接:https://pan.baidu.c ...
- Flutter学习笔记(12)--列表组件
如需转载,请注明出处:Flutter学习笔记(12)--列表组件 在日常的产品项目需求中,经常会有列表展示类的需求,在Android中常用的做法是收集数据源,然后创建列表适配器Adapter,将数据源 ...
- web前端开发-博客目录
web前端开发是一个新的领域,知识连接范围广,处于设计与后端数据交互的桥梁,并且现在很多web前端相关语言标准,框架库都在高速发展.在学习过程中也常常处于烦躁与迷茫,有时候一直在想如何能够使自己更加系 ...
- .net持续集成sonarqube篇之 sonarqube与jenkins集成(命令模式)
系列目录 Sonarqube结合Jenkins与常见问题 我们引入sonarqube组件的最终目的是要为整个Ci环境服务的,如果不能集成于当前的Jenkins CI,那么我们做的很多关于sonarqu ...
- 【Android】Fresco 初次使用遇到的坑
初次使用开源框架 Fresco,结果遇到了坑,被虐了半下午--暂且记下. 下面的错误 android.view.InflateException: Binary XML file line #** 报 ...