Flink+Redis部署

Flink集群部署

一：Standlone模式

1. 上传解压

cd /root/tools
tar -zxvf flink-1.10.2-bin-scala_2.11.tgz -C /usr/local/src

2. 重命名并配置环境变量

#重命名
cd /usr/local/src
mv flink-1.10.2/ flink
ls

#配置环境变量
vi /etc/profile

export FLINK_HOME=/usr/local/src/flink
export PATH=$PATH:$FLINK_HOME/bin

#重新编译加载环境变量
source /etc/profile

3. 配置Flink

（1）修改flink-conf.yaml

cd $FLINK_HOME/conf
vi flink-conf.yaml

#修改文件第33行
 jobmanager.rpc.address: master

（2）修改masters

vi master

#修改主机名
master:8081

（3）修改slaves

vi slaves

#修改主机名
master
slave1
slave2

（4）分发flink安装目录到另外两个节点

cd /usr/local/src
scp -r flink/ slave1:$PWD
scp -r flink/ slave1:$PWD

（5）分别在slave1,slave2配置环境变量

#配置环境变量
vi /etc/profile

export FLINK_HOME=/usr/local/src/flink
export PATH=$PATH:$FLINK_HOME/bin

#重新编译加载环境变量
source /etc/profile

（6）master节点上启动Flink

start-cluster.sh
jps

（7）Flink 提供了 WEB 界面用于直观的管理 Flink 集群，默认访问端口为 8081

ip:8081

（9）测试案例 wordcount.jar

cd $FLINK_HOME
bin/flink run /usr/local/src/flink/examples/batch/WordCount.jar

（10）任意节点上运行交互客户端

start-scala-shell.sh remote master 8081

二、On-yarn模式

（1）启动Hadoop

start-all.sh
jps

（2）复制以下三个3个jar包到Flink对应目录

#路径为$HADOOP_HOME/share/hadoop/yarn
hadoop-yarn-api-2.7.7.jar

#路径为$HADOOP_HOME/share/hadoop/yarn/sources
hadoop-yarn-api-2.7.7-sources.jar 

#官网下载 https://flink.apache.org/downloads.html#flink-shaded
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar

（3）提交任务到yarn执行

cd $FLINK_HOME
/bin/flink run -m yarn-cluster $FLINK_HOME/examples/batch/WordCount.jar

Redis数据库安装部署

1. 下载redis-4.0.1.tar.gz安装包

   https://download.redis.io/releases/

2. 上传到Linux系统

3. 解压缩安装包到指定目录

tar -zxvf redis-4.0.1.tar.gz -C /usr/local/src

4. 重命名解压后redis目录

cd /usr/local/src
mv redis-4.0.1 redis

5. 安装gcc

yum install -y gcc

gcc -v

6. 编译redis

cd /usr/local/src/redis
make

7. 安装

make PREFIX=/usr/local/src/redis install

8. 修改配置文件redis.conf

cd /usr/local/src/redis
vi redis.conf

#1. 修改500行配置参数 #requirepass=foobared ，去掉注释，foobared改为自己的密码123456
requirepass=123456

#2. 修改136行配置参数 daemonize=yes 默认后台运行

9. 启动redis服务

redis-server /usr/local/src/redis/redis.conf

10. 查看redis服务进程，得到运行主机的ip和端口号（默认6379）

ps -aux|grep redis

11. 使用客户端登录redis

redis-cli -h ip -p 6379 -a 123456