Apache Flink 简单安装

　　流计算这两年很火了，可能对数据的实时性要求高。现在用的hadoop框架，对流计算的支持，主要还是微批（spark），也不支持“Exactly Once”语义（可以使用外接的数据库解决），公司项目可能会用所以就下载了个Flink试试。

1. 下载解压　　　　

　　打开官网：https://flink.apache.org/， “DOWNLOAD”，下载对应 hadoop 和scala 版本。Flink以来JDK和HADOOP，提前下载。

[root@spring software]#  wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.7.1/flink-1.7.1-bin-hadoop27-scala_2.12.tgz
[root@spring software]# tar -zxvf flink-1.7.-bin-hadoop27-scala_2..tgz
[root@spring software]# ll
total
drwxrwxrwx   venn venn        Dec  : flink-1.7.
-rw-r--r--   root root  Dec  : flink-1.7.-bin-hadoop27-scala_2..tgz
drwxr-xr-x.              Apr     jdk1.
-rw-r--r--.  root root  Dec  : jdk-8u91-linux-x64.tar.gz

2. 配置

　　官网教程：　https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/local_setup.html

在bin/config.sh 是Flink 的配置文件，但是不需要配置，只需要有配置JAVA_HOME, HADOOP_HOME ( 或者HADOOP_CONF_DIR)

    export JAVA_HOME=/opt/software/jdk1.
    export CLASSPATH=.:$JAVA_HOME/lib
    export PATH=$JAVA_HOME/bin:$PATH
    export HADOOP_HOME=/etc/hadoop
    export HADOOP_CONF_DIR=/etc/hadoop/conf

[root@spring bin]# source /etc/profile
[root@spring bin]# echo $HADOOP_CONF_DIR
/etc/hadoop/conf
[root@spring bin]# echo $HADOOP_HOME
/etc/hadoop
[root@spring bin]# echo $JAVA_HOME
/opt/software/jdk1.

config.sh

KEY_ENV_JAVA_HOME="env.java.home"  # java使用环境变量

# Check if deprecated HADOOP_HOME is set, and specify config path to HADOOP_CONF_DIR if it's empty.  # 读取环境变量 HADOOP_HOME HADOOP_CONF_DIR
if [ -z "$HADOOP_CONF_DIR" ]; then
    if [ -n "$HADOOP_HOME" ]; then
        # HADOOP_HOME is set. Check if its a Hadoop .x or .x HADOOP_HOME path
        if [ -d "$HADOOP_HOME/conf" ]; then
            # its a Hadoop .x
            HADOOP_CONF_DIR="$HADOOP_HOME/conf"
        fi
        if [ -d "$HADOOP_HOME/etc/hadoop" ]; then
            # Its Hadoop 2.2+
            HADOOP_CONF_DIR="$HADOOP_HOME/etc/hadoop"
        fi
    fi
fi

# try and set HADOOP_CONF_DIR to some common default if it's not set
if [ -z "$HADOOP_CONF_DIR" ]; then
    if [ -d "/etc/hadoop/conf" ]; then
        echo "Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set."
        HADOOP_CONF_DIR="/etc/hadoop/conf"
    fi
fi

4. 流计算demo wordcount

使用nc 模拟输入流,输入数据

[root@spring log]# nc -l 

...

启动wordcount demo

[root@spring flink-1.7.]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port
Starting execution of program

nc输入继续输入数据。。。

"ctrl + C" 关闭nc，wordcount demo 随之关闭。

trewt
re
w
^C   # kill nc
[root@spring log]# 

# wordcount 完成
[root@spring flink-1.7.]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port
Starting execution of program
Program execution finished
Job with JobID b1e67fe09658ebe57fac2c2f7ef11916 has finished.
Job Runtime:  ms

查看统计结果：

[root@spring flink-1.7.]# more -f log/flink-root-taskexecutor-2-spring.hadoop.out  # 第一次执行是 0
 :
qq :
 :
tyr :
tre :
o :
i :
u :
y :
t :
r :
e :
w :
q :
 :
 :
 :
 :
 :
 :
 :
 :
 :
rew :
 :
 :
 :
trew :
fds :
 :
其 :
rfd :
其q :
fdsgfd :
trewtg :
raq :
dfs :
eh :
r :
wyht :
re :
rds :
g :
fgrd :
ygtre :
fretg :
trewt :
erw :
wtg :
gre :
ds :
fv :
 :
gfr :
t :
ghrw :
s :
gvdf :
d :
wg :
er :
wt :
re :
rewt :
redwg : 

查看管理控制台

本文所有内容来自官网教程，本地执行，https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/local_setup.html

搞定