dataflow论文阅读笔记 Polysh的安装使用 SnappyData排序函数比较 Squirrel-sql客户端连接SnappyData手册 在虚拟机里显示Hello World spark学习博客推荐 SnappyData学习博客和官网文章 Docker常用命令 MyBatis支持的OGNL语法 mysql性能优化 mysql性能优化-优化Sql语句 java各版本新特性 mac上命令行操作 explain输出格式 从文件中读取zk配置——ZooKeeper编程技能(1) git进阶经验-从项目中删除移除的目录 Mongodb 学习之shell命令操作(3) mysql命令 git进阶经验-从多模块项目中分理子模块 从零学hadoop-搭建基础(单点)的Hdfs环境 ZooKeeper集群操作脚本 Vue安装使用 2 初学JVM之问答式记住类加载机制 2 初学JVM之问答式记住虚拟机性能监控与故障处理工具 2 初学JVM之问答式记住垃圾收集器 log4j2 按天生成日志文件 1 初学JVM之问答式记住java自动内存管理 MapReduce学习心得之MapReduce初识 log4j2 日志发送到kafka配置实战 log4j2 日志配置实战 Mongodb 学习之shell命令操作(二) Mongodb 学习之linux版本安装(一) Dubbo的初级使用 ServiceLoader内部实现分析 ServiceLoader 初级应用 log4j日志发送邮件配置实战 红黑树笔记 IDEA首次使用之前的配置 java源码学习之Enum java源码学习之String 自定义Spring tag标签 编写一键发布脚本 记一次Spring Scheduler莫名不执行的一次堆栈分析 kafka的基本操作 nginx 5:Nginx内部变量 nginx 4:Nginx日志管理 提高hadoop配置效率的shell脚本 Hive编程指南之一 Hive的安装 Ambari服务器安装 Ambari服务器管理集群 HBase分布式安装 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 搭建JStorm集群 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 配置vmware中的虚拟机使用宿主机的共享网络 YARN架构简述 HDFS 架构 Spring的统一异常处理机制 Tomcat 配置服务 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 nginx 3:Nginx反向代理 mybatis操作主体流程 1.正则表达式学习-基础篇 log4j日志配置详解 mysql的时间函数 nginx 2:Nginx模块配置理论及实战 HashMap相关解析和测试文章 工作一年后的面试 用私有构造器或枚举类型强化Singleton属性 java中比较重要的图 mybatis处理枚举类 mybatis集成进spring Spring比较重要的几个截图 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 markdown在jekyll中支持的一些操作 Spring项目中配置sl4j和log4j的日志配置 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 Spring的profile机制介绍 mybatis-generator反向生成 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 (转)浅析 Decorator 模式,兼谈 CDI Decorator 注解 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 Http 协议相应状态码大全及常用状态码 IDEA快捷键 JDBC Type与Java Type redis 12:redis 操作集合 mybatis-generator错误集合 redis 11:redis 错误集合 nginx 1:nginx的安装 redis 10:redis cluster命令操作 redis 9:redis实例集群安装 java设计模式 hadoop集群学习笔记(1) Apache Shiro 简介 vim编辑神器的进阶命令 Eclipse配置 Eclipse快捷键 Linux 测试题 Linux脚本学习(1) Linux启动简要过程 Centos7上安装Mysql hadoop集群学习笔记(1) (转)分布式发布订阅消息系统 Kafka 架构设计 maven 命令 Kafka集群安装 Kafka初步使用 redis 8:redis server 和 scripting命令操作 redis 7:redis transaction 和 connection命令操作 redis 6:redis hash 命令操作 redis 5:redis sorted_set 命令操作 搭建本地Jekyll+Markdown+Github的开发环境 Spring源码阅读笔记(2) redis 4:redis set命令操作 Spring添加任务调度配置 redis 3:Redis list命令操作 redis 2:redis 一般命令操作 redis 1:redis单机安装笔记 redis 0:redis配置属性描述 Spring源码阅读笔记(1) spark 错误集锦 spark集群安装 Linux 基本命令操作 Hadoop错误信息处理 Hadoop代码拾忆 从零开始搭建spring-springmvc-mybatis-mysql和dubbo项目 java知识点札记 java排错 Google Java Style 中文版 git进阶经验 github使用经验 MongoDB用户角色授权与AUTH启用 MongoDB 命令 MongoDB 特定规范 Spring MVC实现跳转的几种方式 史上最全最强SpringMVC详细示例实战教程 Spring 零星笔记 js中(function(){…})()立即执行函数写法理解 如何解决跨域问题 创建ajax简单过程 前端定位 设置MYSQL允许通过IP访问 mybatis异常 :元素内容必须由格式正确的字符数据或标记组成 如何为 WordPress 绑定多个域名的方法s WordPress工作原理之程序文件执行顺序(传说中的架构源码分析) Spring源码导入Eclipse中 基于PHPnow搭建Eclipse开发环境 解决wordpress首页文章内容截断处理的几种方法 ZooKeeper理论知识 ZooKeeper集群安装配置 Git常用命令速查表 Linux 4:磁盘与文件系统管理 Linux 3:文件与目录管理 Linux 2:文件权限与目录配置 Markdown输入LaTeX数学公式
从零学hadoop-搭建基础(单点)的Hdfs环境 MapReduce学习心得之MapReduce初识 Ambari服务器安装 Ambari服务器管理集群 windows下Eclipse远程调试运行MR程序 基于MapReduce新的API的编程Demo-wordCount window下Eclipse远程只读HDFS上的文件 YARN上节点标签 编写第一个MapReduce的wordcount程序 NodeManager的重启 YARN上的web应用代理 YARN上的ResourceManager的高可用方案 YARN架构简述 HDFS 架构 HDFS的viewfs指南 HDFS的Federation之路 HDFS基于QJM的HA之路 21.hadoop-2.7.2官网文档翻译-使用NFS的HDFS高可用性 20.hadoop-2.7.2官网文档翻译-使用仲裁日志管理器的HDFS高可用性 19.hadoop-2.7.2官网文档翻译-HDFS命令指南 18.hadoop-2.7.2官网文档翻译-HDFS用户指南 17.hadoop-2.7.2官网文档翻译-实现Hadoop中Dapper-like追踪 16.hadoop-2.7.2官网文档翻译-Hadoop的KMS(key 管理服务器)-文档集 15.hadoop-2.7.2官网文档翻译-Hadoop的http web认证 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南 13.hadoop-2.7.2官网文档翻译-安全模式中的Hadoop 09.hadoop-2.7.2官网文档翻译-Hadoop命令行微型集群 12.hadoop-2.7.2官网文档翻译-机架感知 11.hadoop-2.7.2官网文档翻译-代理用户-超级用户对其他用户的代表 10.hadoop-2.7.2官网文档翻译-原生库指南 08.hadoop-2.7.2官网文档翻译-文件系统规范 07.hadoop-2.7.2官网文档翻译-Hadoop接口类别 06.hadoop-2.7.2官网文档翻译-Hadoop的兼容性 05.hadoop-2.7.2官网文档翻译-文件系统命令 04.hadoop-2.7.2官网文档翻译-Hadoop命令指南 03.hadoop-2.7.2官网文档翻译-集群安装 02.hadoop-2.7.2官网文档翻译-单节点集群安装 01.hadoop-2.7.2官网文档翻译-概述 hadoop集群学习笔记(1) hadoop集群学习笔记(1) Hadoop错误信息处理 Hadoop代码拾忆

ZooKeeper集群安装配置

2015年04月04日
摘要:ZooKeeper集群的简单安装

1. 如何搭建zk集群

  • a.前提:

    Zk服务器集群规模不小于3个节点,并且各个服务器之间时间一致

  • b.安装:

将zookeeper的压缩包上传到linux,通过winscp软件,暂定为/usr/local/下,解压zookeeper压缩包

#tar –xzvf  zookeeper-3.4.5.tar.gz

为zookeeper-3.4.5改为简单的名字,便于使用

#mv zookeeper-3.4.5 zk

添加环境变量

#vim /etc/profile
export ZOOKEEPER_HOME = /usr/local/zk

修改环境变量

此处的PATH = .:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVVA_HOME/bin:$PATH,使环境变量生效

#source /etc/profile

进入zookeeper的配置文件目录

#cd /usr/local/zk/conf 

复制一份zoo_sample.cfg 并更名为zoo.cfg

#cp zoo_sample.cfg  zoo.cfg

修改zookeeper的配置文件zoo.cfg

#vim zoo.cfg

修改datadir路径

修改第十三行的datadir路径为自己想要的路径

配置三个zk服务器

配置三个zk服务器

其中第一个端口用来集群成员的信息交换,第二个端口是在leader挂掉时专门用来进行选举leader所用。

创建文件夹data

#mkdir /usr/local/zk/data

在data目录下,创建文件myid,并写上对应的zoo.cfg中的标号 例如: server.1=hadoop1:2888:3888 则在hadoop1主机上的myid中添加1

在三台hadoop机器上同步部署zk的文件夹及环境变量

#scp -r /etc/profile  hadoop2:/etc/
#scp -r /etc/profile  hadoop3:/etc/

使得环境变量生效

#source /etc/profile
#scp -r /usr/local/zk/  hadoop2:/usr/local/
#scp -r /usr/local/zk/  hadoop3:/usr/local/

修改各个主机中的myid文件中的值,以便与zoo.cfg中的配置对应,使得zk能找到对应的机器

#echo 2 >/usr/local/zk/data/myid (机器hadoop2上	)
#echo 3 >/usr/local/zk/data/myid  (机器hadoop3上)

c) 启动zk集群服务 在每台机器上分别执行/usr/local/zk/bin/zkServer.sh文件

#/usr/local/zk/bin/zkServer.sh start

在这里三台zookeeper服务器会自动选举leader,然后其他的都是follower。

检验每个节点上的zookeeper的角色状态

#/usr/local/zk/bin/zkServer.sh status

角色状态1

角色状态2

2. 使用zookeeper

在命令行中执行/usr/local/zk/bin/zkCli.sh

启动客户端1

启动客户端2

  • a.随便输入什么,回车后可以查看提示信息

查看提示信息

  • b.试一试创建的命令:create /test test ,创建一个路径/test,设置数据位test

创建的命令

登录另一台zk服务器的客户端,执行get /test命令,同样会看到如上的结果,则证明机器间的数据同步成功

数据同步

3. 配置zookeeper

Zk是通过配置文件zoo.cfg控制,各个机器上的配置文件几乎是相同的,在集群部署时非常方便。

  • 最低配置:

    • clientPort:监听客户端连接的端口

    • dataDir:存储内存中数据库快照的位置

    • tickTime:基本事件单元(毫秒/单位),控制心跳和会话超时,默认最小会话超时为tickTime的两倍

  • 高级配置:

    • dataLogDir:事务日志写入” dataLogDir”指定的目录,而不是dataDir指定的目录。日志使用的是Log4j

    • maxClientCnxns:限制连接到zk的客户端数量,限制并发连接的数量,通过IP区分客户端。设置为0或不设置会取消并发连接的控制。

    • minSessionTimeout 和maxSessionTimeout

最小会话超时时间和最大会话超时时间,默认最小为tickTime的两倍。最大为20倍。

  • 集群配置:

    • initLimit

    允许follower连接并同步到leader的初始化连接时间,以tickTime的倍数表示,当时间超过tickTime的指定倍数时会失败。

    • syncLimit

    leader和follower之间发送消息时请求和应答的时间长度。如果follower在设置的时间内不能和leader通信,那此follower将被丢弃。

4. Zookeeper特性

Zookeeper中指向节点的路径必须使用规范的绝对路径表示,并以斜线”/”分隔,zookeeper中不允许使用相对路径。

  • Znode的主要特征:

    • Watches:设置watch(监视器),节点发生改变时,会触发watch对应操作,会向客户端发送且只一个通知,因为watch只能被触发一次。

    • 数据访问:zk中每个节点存储的数据需要被原子性操作,每个节点都有ACL,限定了特定用户对目标节点可以执行的操作。

    • 临时节点:节点分为临时节点和永久节点,节点类型在创建时确定,不能被改变。Zk临时节点的生命周期依赖创建他们的会话,会话结束临时节点结束。临时节点不能有子节点。永久节点不依赖会话,只能在客户端执行删除操作删除。

    • 顺序节点:创建Znode时,用户可在请求zk路径结尾添加递增计数。

  • Znode:zk目录树中每个节点对应一个znode,每个znode维护者属性结构,包含版本号、时间戳等状态,跟linux的iNode节点作用类似。

  • Zookeeper中的时间

    • Zxid:

      每一个操作都会使节点收到zxid格式的时间戳,全局有序。每个节点维护三个zxid:cZxid、mZxid、pZxid。

    • 版本号:

      对节点每个操作会使该节点版本号增加,三个版本号:dataVersion(节点数据版本号)、cversion(子节点版本号)、aclVersion(节点所拥有的ACL版本号)

  • Zookeeper watches:zk可以为所有的读操作设置watch,包括(exists()、getChildren()、getData()).watch是一次性触发器。Watch事件将被异步发送到客户端,并且zk为watch提供了有序的一致性保证。

    Zookeeper的watch分为两类:数据watch和子watch。exists()和getData()负责设置数据watch,getChildren()负责设置子watch。Create()和delete()触发znode的数据watch和子watch Watch由客户端所连接的zookeeper服务器在本地维护,非常容易设置、管理和分派。 当客户端连接新的服务器时,任何会话事件都可能触发watch,当从服务器断开连接时,watch不会被接收,但当客户端重新连接时,先前注册的watch会被重新注册。

  • Zookeeper ACL

    • Ids.OPEN_ACL_UNSAFE

      对所有的ACL都完全开放

    • Ids.READ_ACL_UNSAFE

      对任何应用程序都只有读权限

    • Ids.CREATOR_ALL_ACL

      节点创建者的所有权限,创建者必须通过服务器认证。

  • zookeeper的一致性 顺序一致性(与被发送顺序一直)、原子性(要么成功要么失败)、单系统镜像(客户端连接到集群的任一服务器看到相同的zookeeper视图)、可靠性(1.客户端成功返回代码成功,否则不知道操作是否生效;2.故障恢复时,任何客户端能看到的执行成功的更新操作将不会回滚)和实时性(特定时间内,客户端看到的系统是实时的,任何系统的改变将被客户端看到,或者被客户端侦测到)