在 Mac 上搭建 Flink 的开发环境

作者: 疯狂小兵 | 2019-06-27 | 阅读
「编辑」 「本文源码」

构建读写数据的kafka 环境

搭建 Zookeeper 集群

参考文章: http://followtry.cn/2015-04-04/ZooKeeper-setup.html

搭建 Kafka 集群

参考文章:http://followtry.cn/2016-05-14/kafka-setup.html

搭建 kafka manager环境

Keep manager 主要用来管理 kafka,可以用来管理topic,分区和消费组等

参考文章: https://www.cnblogs.com/dadonggg/p/8205302.html

先下载源码

源码地址:https://github.com/yahoo/kafka-manager ,雅虎开源的管理 kafka 集群的工具

源码编译

执行命令:./sbt clean dist 编译源码生成安装包

解压安装包

将编译出的kafka-manager-xxx/target/universal/kafka-manager-xxx.zip解压出kafka-manager-xxx

设置配置文件

打开配置文件conf/application.conf

配置 zk 的集群信息 kafka-manager.zkhosts=“host:port,host2:port2,host3:port3”

启动 kafak manager

执行命令: kafkamanager/bin/kafka-manager -Dconfig.file=./kafkamanager/conf/application.conf -Dhttp.port=8080 , 其中指定了配置文件./kafkamanager/conf/application.conf和 web 端口号 8080

kafka manager 地址: http://localhost:8080/clusters

增加 kafka 集群信息

在http://localhost:8080/addCluster输入配置信息

Cluster name : xxx 
Cluster zookeeper Hosts(kafka 集群配置的 zk): host:port,host2:port2,host3:port
kafka  version: 查看 kafka 安装目录下的 libs 内的kafka 包版本
勾选项: 勾选上除了`JMX with SSL`的其他选项
其他选项: 可以默认或自定义配置

点击 save 保存即可

编辑页面

下载安装包并解压

wget https://flink.apache.org/downloads.html 下载 flink 的独立包,可直接在本地启动的。

tar xzf flink-*.tgz

调整配置

conf/application.yaml中设置 web 监控页面

rest.port: 8081
web.submit.enable: true

执行命令./bin/start-cluster.sh,启动 flink

检查是否启动成功

web 监控页面正常打开则说明启动正常

http://localhost:8081

flink-web

页面上传 jar 包执行

flink-web-submit

flink-web-submit-2


版权声明:本文由 在 2019年06月27日发表。本文采用CC BY-NC-SA 4.0许可协议,非商业转载请注明出处,不得用于商业目的。
文章题目及链接:《在 Mac 上搭建 Flink 的开发环境》




  相关文章:

「游客及非Github用户留言」:

「Github登录用户留言」:

TOP