Flink安装部署

简介

官网：https://flink.apache.org/

GitHub：https://github.com/apache/flink

下载

https://archive.apache.org/dist/flink/

https://flink.apache.org/downloads/

https://github.com/apache/flink/releases/tag/release-1.17.1

安装包大约500MB：

安装概述

Flink 支持多种安装模式。

1. local[本地]单机模式 -------单机模式， 一般不使用
2. standalone --------独立模式， Flink 自带集群，开发测试环境使用
3. yarn ------计算资源统一由 Hadoop YARN 管理，生产环境测试

standalone 集群环境

需要准备 3 台Linux 机器。具体要求如下：

• 安装 Java 8。
• ssh 免密码登录【 集群内节点之间免密登录】

local本地模式安装

原理

操作

1.下载安装包

https://archive.apache.org/dist/flink/

2.上传flink-1.13.1-bin-scala_2.12.tgz到node1的指定目录

3.解压

tar -zxvf flink-1.13.1-bin-scala_2.12.tgz

4.如果出现权限问题，需要修改权限

chown -R root:root /export/server/flink-1.13.1

5.改名或创建软链接

mv flink-1.13.1 flink

ln -s /export/server/flink-1.13.1 /export/server/flink

测试

1.准备文件/root/words.txt

vim /root/words.txt

2.启动Flink本地“集群”

3.使用jps可以查看到下面两个进程

- TaskManagerRunner

- StandaloneSessionClusterEntrypoint

4.访问Flink的Web UI

http://node1:8081/

slot在Flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。

5.执行官方示例

6.停止Flink

/export/server/flink/bin/stop-cluster.sh

启动shell交互式窗口(目前所有Scala 2.12版本的安装包暂时都不支持 Scala Shell)

/export/server/flink/bin/start-scala-shell.sh local

执行如下命令

退出shell

:quit

Standalone独立集群模式安装

原理

操作

1.集群规划:

- 服务器: node1(Master + Slave): JobManager + TaskManager

- 服务器: node2(Slave): TaskManager

- 服务器: node3(Slave): TaskManager

2.修改flink-conf.yaml

vim /export/server/flink/conf/flink-conf.yaml

2.修改masters

vim /export/server/flink/conf/masters

3.修改slaves

vim /export/server/flink/conf/workers

4.添加HADOOP_CONF_DIR环境变量

vim /etc/profile

5.分发

scp -r /export/server/flink node2:/export/server/flink

scp -r /export/server/flink node3:/export/server/flink

scp /etc/profile node2:/etc/profile

scp /etc/profile node3:/etc/profile

或

6.source

source /etc/profile

测试

1.启动集群，在node1上执行如下命令

/export/server/flink/bin/start-cluster.sh

或者单独启动

后续精彩内容已被小麦苗无情隐藏，请输入验证码解锁本站所有文章

验证码：

请关注本站微信公众号，回复“小麦苗博客”，获取验证码。在微信里搜索“DB宝”或者“www_xmmup_com”或者微信扫描右侧二维码都可以关注本站微信公众号。