常见 MQ 的比较 - Kafka、RocketMQ、RabbitMQ的优劣势比较 GFS 论文学习和 HDFS 实现的比较 Docker技术入门与实战 - 使用 dockerfile定制镜像 I love log 读书笔记 flink 入门程序-wordcount flink 配置项介绍 在 Mac 上搭建 Flink 的开发环境 lambda 架构问题的阅读笔记 IDEA常用插件 Mybatis源码分析(1) - Mybatis关键类 Mybatis源码分析(1) - Mybatis包目录简介 tair 1:tair学习 dataflow论文阅读笔记 Polysh的安装使用 SnappyData排序函数比较 Squirrel-sql客户端连接SnappyData手册 在虚拟机里显示Hello World spark学习博客推荐 SnappyData学习博客和官网文章 Docker常用命令 MyBatis支持的OGNL语法 mysql性能优化 mysql性能优化-优化Sql语句 java各版本新特性 mac上命令行操作 explain输出格式 从文件中读取zk配置——ZooKeeper编程技能(1) git进阶经验-从项目中删除移除的目录 Mongodb 学习之shell命令操作(3) mysql命令 git进阶经验-从多模块项目中分理子模块 从零学hadoop-搭建基础(单点)的Hdfs环境 ZooKeeper集群操作脚本 Vue安装使用 2 初学JVM之问答式记住类加载机制 2 初学JVM之问答式记住虚拟机性能监控与故障处理工具 2 初学JVM之问答式记住垃圾收集器 log4j2 按天生成日志文件 1 初学JVM之问答式记住java自动内存管理 MapReduce学习心得之MapReduce初识 log4j2 日志发送到kafka配置实战 log4j2 日志配置实战 Mongodb 学习之shell命令操作(二) Mongodb 学习之linux版本安装(一) Dubbo的初级使用 ServiceLoader内部实现分析 ServiceLoader 初级应用 log4j日志发送邮件配置实战 红黑树笔记 IDEA首次使用之前的配置 java源码学习之Enum java源码学习之String 自定义Spring tag标签 编写一键发布脚本 记一次Spring Scheduler莫名不执行的一次堆栈分析 kafka的基本操作 nginx 5:Nginx内部变量 nginx 4:Nginx日志管理 提高hadoop配置效率的shell脚本 Hive编程指南之一 Hive的安装 Ambari服务器安装 Ambari服务器管理集群 HBase分布式安装 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 搭建JStorm集群 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 配置vmware中的虚拟机使用宿主机的共享网络 YARN架构简述 HDFS 架构 Spring的统一异常处理机制 Tomcat 配置服务 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 nginx 3:Nginx反向代理 mybatis操作主体流程 1.正则表达式学习-基础篇 log4j日志配置详解 mysql的时间函数 nginx 2:Nginx模块配置理论及实战 HashMap相关解析和测试文章 工作一年后的面试 用私有构造器或枚举类型强化Singleton属性 java中比较重要的图 mybatis处理枚举类 mybatis集成进spring Spring比较重要的几个截图 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 markdown在jekyll中支持的一些操作 Spring项目中配置sl4j和log4j的日志配置 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 Spring的profile机制介绍 mybatis-generator反向生成 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 (转)浅析 Decorator 模式,兼谈 CDI Decorator 注解 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 Http 协议相应状态码大全及常用状态码 IDEA快捷键 JDBC Type与Java Type redis 12:redis 操作集合 mybatis-generator错误集合 redis 11:redis 错误集合 nginx 1:nginx的安装 redis 10:redis cluster命令操作 redis 9:redis实例集群安装 java设计模式 hadoop集群学习笔记(1) Apache Shiro 简介 vim编辑神器的进阶命令 Eclipse配置 Eclipse快捷键 Linux 测试题 Linux脚本学习(1) Linux启动简要过程 Centos7上安装Mysql hadoop集群学习笔记(1) (转)分布式发布订阅消息系统 Kafka 架构设计 maven 命令 Kafka集群安装 Kafka初步使用 redis 8:redis server 和 scripting命令操作 redis 7:redis transaction 和 connection命令操作 redis 6:redis hash 命令操作 redis 5:redis sorted_set 命令操作 搭建本地Jekyll+Markdown+Github的开发环境 Spring源码阅读笔记(2) redis 4:redis set命令操作 Spring添加任务调度配置 redis 3:Redis list命令操作 redis 2:redis 一般命令操作 redis 1:redis单机安装笔记 redis 0:redis配置属性描述 Spring源码阅读笔记(1) spark 错误集锦 spark集群安装 Linux 基本命令操作 Hadoop错误信息处理 Hadoop代码拾忆 从零开始搭建spring-springmvc-mybatis-mysql和dubbo项目 java知识点札记 java排错 Google Java Style 中文版 git进阶经验 github使用经验 MongoDB用户角色授权与AUTH启用 MongoDB 命令 MongoDB 特定规范 Spring MVC实现跳转的几种方式 史上最全最强SpringMVC详细示例实战教程 Spring 零星笔记 js中(function(){…})()立即执行函数写法理解 如何解决跨域问题 创建ajax简单过程 前端定位 设置MYSQL允许通过IP访问 mybatis异常 :元素内容必须由格式正确的字符数据或标记组成 如何为 WordPress 绑定多个域名的方法s WordPress工作原理之程序文件执行顺序(传说中的架构源码分析) Spring源码导入Eclipse中 基于PHPnow搭建Eclipse开发环境 解决wordpress首页文章内容截断处理的几种方法 ZooKeeper理论知识 ZooKeeper集群安装配置 Git常用命令速查表 Linux 4:磁盘与文件系统管理 Linux 3:文件与目录管理 Linux 2:文件权限与目录配置 Markdown输入LaTeX数学公式
从零学hadoop-搭建基础(单点)的Hdfs环境 MapReduce学习心得之MapReduce初识 Ambari服务器安装 Ambari服务器管理集群 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 YARN架构简述 HDFS 架构 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 hadoop集群学习笔记(1) hadoop集群学习笔记(1) Hadoop错误信息处理 Hadoop代码拾忆

从文件中读取zk配置——ZooKeeper编程技能(1)

2017年07月06日
摘要:在文件中配置zookeeper的初始化配置属性,本文以CuratorFramewor客户端为例进行说明。

### 背景

为了在项目中更加便捷的使用zookeeper,对于zookeeper客户端的初始化参数最好是抽离到可视的配置文件中,避免程序中硬编码,而且写入到配置文件也便于zookeeper的灵活扩展。

期望目标

通过本文,能够对CuratorFramewor客户端的配置进行配置化设置。

填充配置文件

暂定配置文件名为:zk.properties。

内容如下:

connectionString=test.host.cn:2181,test.host.cn:2281,test.host.cn:2381
sessionTimeoutMs=1800000
retryPolicy=oneTime
retryTimes=3
retryInteval=10000
canBeReadOnly=false
  • connectionString

    zookeeper集群的连接地址,每个节点包括,多个节点用逗号分隔。

  • sessionTimeoutMs

    定义session超时时间,以毫秒为单位,例文中为30分钟。

  • retryPolicy

    为重试策略。选项包括,oneTime(只重试一次),NtTime(重试指定次数),forever(一直重试直到连接到服务),默认只重试一次。例文中使用的是oneTime(只重试一次)。

  • retryTimes

    重试次数,只有在retryPolicy=NtTime时有效。

  • retryInteval

    重试时间间隔,单位为毫秒,默认10秒间隔。

  • canBeReadOnly

    有效值为true和false。如果设置为true,意味着允许Zookeeper客户端在网络隔离情况下可以只读模式访问。即如果该节点与集群无法连接,可以提供服务,但是不能获取最新的更改。

如果使用maven管理java项目,则该文件放置在src/main/resources目录下。

读取配置文件

使用jdk自带的Properties类存储读取的属性配置。

暂定解析配置类为:ConfigHelper

内容如下:

package cn.followtry.zk.utils;

import com.google.common.io.Resources;
import java.io.IOException;
import java.net.URL;
import java.util.Properties;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * 从配置文件zk.properties中载入zookeeper的配置属性
 * Created by followtry on 2017/5/31.
 */
public class ConfigHelper {
  
  private static final Logger LOGGER = LoggerFactory.getLogger(ConfigHelper.class);
  
  private static Properties properties = new Properties();
  
  static {
      URL resource =    .getResource("zk.properties");
    try {
      properties.load(resource.openStream());
    } catch (IOException e) {
      LOGGER.error("载入配置异常",e);
    }
  }
  
  private ConfigHelper(){
    // 不允许外部实例化
  }
  
  public static Properties getProp() {
    return properties;
  }
}

ConfigHelper中使用guava包中的Resources获取到配置文件zk.properties的位置,并使用Properties载入配置资源。该解析类为单例模式。

ZK配置的工具类

暂定ZK配置工具类为:ZkProp

内容如下:

package cn.followtry.zk.utils;

import java.util.Properties;
import org.apache.curator.RetryPolicy;
import org.apache.curator.retry.RetryForever;
import org.apache.curator.retry.RetryNTimes;
import org.apache.curator.retry.RetryOneTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Created by followtry on 2017/5/31.
 */
public class ZkProp {
  
  private static final Logger LOGGER = LoggerFactory.getLogger(ZkProp.class);
  
  private static Properties prop = ConfigHelper.getProp();
  
  //session默认过期值,30分钟
  private static final int DEFAULT_SESSION_TIMEOUT_MS = 30 * 60 * 1000;
  
  //连接超时时间,默认为30秒
  private static final int DEFAULT_CONNECTION_TIMEOUT_MS = 30 * 1000;
  
  //重试时间间隔,默认为10秒
  private static final int DEFAULT_RETRY_INTEVAL_MS = 10 * 1000;
  //重试次数,默认为3
  private static final int DEFAULT_RETRY_TIMES = 3;
  
  //默认zookeeper节点地址
  private static final String DEFAULT_ZK_NODE = "127.0.0.1:2181";
  
  private static final String DEFAULT_RETRY_POLICY = "oneTime";
  
  private static final String DEFAULT_CAN_BE_READONLY = "false";
  public static String connectionString() {
    return prop.getProperty("connectionString",DEFAULT_ZK_NODE);
  }
  
  public static int sessionTimeoutMs() {
    return Integer.valueOf(prop.getProperty("sessionTimeoutMs",String.valueOf(DEFAULT_SESSION_TIMEOUT_MS)));
  }
  
  public static int connectionTimeoutMs() {
    return Integer.valueOf(prop.getProperty("connectionTimeoutMs",String.valueOf(DEFAULT_CONNECTION_TIMEOUT_MS)));
  }
  
  public static RetryPolicy retryPolicy() {
    String retryPolicy = prop.getProperty("retryPolicy",DEFAULT_RETRY_POLICY);
    RetryPolicy rp;
    switch (retryPolicy) {
      case "oneTime":
        rp = new RetryOneTime(retryInteval());
        break;
      case "NtTime":
        rp = new RetryNTimes(retryTimes(),retryInteval());
        break;
      case "forever":
        rp = new RetryForever(retryInteval());
        break;
      default:
        LOGGER.warn("retryPolicy not set,now setting default retryPolicy is retryOneTime,retryInteval is {}ms",retryInteval());
        rp = new RetryOneTime(retryInteval());
    }
    return rp;
  }
  
  public static Boolean canBeReadOnly() {
    String canBeReadOnly1 = prop.getProperty("canBeReadOnly",DEFAULT_CAN_BE_READONLY);
    Boolean canBeReadOnly;
    switch (canBeReadOnly1) {
      case "true":
        canBeReadOnly = Boolean.parseBoolean(canBeReadOnly1);
        break;
      case "false":
        canBeReadOnly = Boolean.parseBoolean(canBeReadOnly1);
        break;
      default:
        canBeReadOnly = Boolean.parseBoolean("false");
    }
    return canBeReadOnly;
  }
  
  private static int retryInteval() {
    return Integer.valueOf(prop.getProperty("retryInteval",String.valueOf(DEFAULT_RETRY_INTEVAL_MS)));
  }
  
  private static int retryTimes() {
    return Integer.valueOf(prop.getProperty("retryTimes",String.valueOf(DEFAULT_RETRY_TIMES)));
  }
  
}

该类将读取到的配置封装为每一个静态方法并为其制定了默认值。

代码中获取ZK的客户端

暂定客户端获取类为:ZkClientFactory

内容如下:

package cn.followtry.zk;

import cn.followtry.zk.utils.ZkProp;
import org.apache.curator.framework.CuratorFramework;
import org.apache.curator.framework.CuratorFrameworkFactory;

public class ZkClientFactory {
    
    private static CuratorFramework client;
    
    public static CuratorFramework getZkClient() {
        //从配置中读取对客户端的设置
        client = CuratorFrameworkFactory.builder()
                .canBeReadOnly(ZkProp.canBeReadOnly())
                .connectionTimeoutMs(ZkProp.connectionTimeoutMs())
                .sessionTimeoutMs(ZkProp.sessionTimeoutMs())
                .retryPolicy(ZkProp.retryPolicy())
                .connectString(ZkProp.connectionString())
                .build();
        return client;
    }
}

将建造者模式的CuratorFrameworkFactory客户端创建封装在静态方法中,方便调用。 默认设置的参数有canBeReadOnlyconnectionTimeoutMssessionTimeoutMsretryPolicyconnectString

测试代码

暂定测试类:CfzkClientTest

内容如下:

package cn.followtry.zk;

import org.apache.curator.framework.CuratorFramework;

public class CfzkClientTest {
    /** main. */
    public static void main(String[] args) throws Exception {
        CuratorFramework zkClient = ZkClientFactory.getZkClient();
        zkClient.start();
        String forPath = zkClient.create().creatingParentsIfNeeded().forPath("/testzk/myzk",null);
        System.out.println(forPath);
    }
}

输出结果:

输出结果