2000人QQ群 : 67842417
Join us if you will.

zookeeper 3.4.8 集群系统部署

上海万庄信息科技有限公司

zookeeper 3.4.8集群 

系统部署

 

 

运维工程师–sptty

2016/5/6

 

 


 

 

目录

文档申明 2

概述 2

zookeeper是什么 2

为什么要用zookeeper 3

zookeeper工作原理 3

Leader选举 3

zookeeper的数据模型 4

Zookeeper的节点 4

Zookeeper的角色 4

集群部署 5

Node信息 5

配置host 5

JDK环境 6

安装节点 6

集群配置 8

. Zkdash安装 9

 

 


一、 文档申明

文档信息

文档名称:

 zookeeper 3.4.8 集群系统部署

撰写人:

sptty

文档版本:

V1.0

职位:

运维工程师

最后发布日期:

2016-05-06

 

文档参与团队

姓名

职位

Email

参与项目

sptty

服务器运维工程师

文档结构定义和主要内容撰写

 

 

 

 

 

 

 

 

 

版本历史

版本号

版本日期

修订者

描述

文件名

V1.0

2016-05-06

sptty

初稿

 zookeeper 3.4.8 集群系统部署

 

 

 

 

 

 

 

 

 

 

 

版权及保密性声明 

本文档中包含的所有信息,无论涉及到上海万庄信息科技有限公司、客户还是其合作伙伴(包括但不限于功能描述、政策、流程、决定、雇员信息、代理及客户信息以及所有的财务信息),都必须绝对保密。除非是用于对本文档进行评估,否则不得以任何方式传播、散布或授权其它方使用本文档中的任何信息。

 

二、 概述

 

 

  zookeeper是什么

Zookeeper,一种分布式应用的协作服务,GoogleChubby一个开源的实现,Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。

zookeeper是一个由多个service组成的集群,一个leader,多个follower,每个server保存一份数据部分,全局数据一致,分布式读写,更新请求转发由leader实施.

更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行,数据更新原子性,一次数据更新要么成功,要么失败,全局唯一数据试图,client无论连接到哪个server,数据试图是一致的.

为什么要用zookeeper

大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等),目前,大部分应用需要开发私有的协调程序,缺乏一个 通用的机制.协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器,ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

zookeeper工作原理

zookeeper的核心是原子广播,这个机制保证了各个server之间的同步,实现这个机制的协议叫做Zab协议.Zab协议有两种模式,他们分别是恢复模式和广播模式.

1.当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导着被选举出来,且大多数server都完成了和leader的状态同步后,恢复模式就结束了.状态同步保证了leaderserver具有相同的系统状态.

2.一旦leader已经和多数的follower进行了状态同步后,他就可以开始广播消息了,即进入广播状态.这时候当一个server加入 zookeeper服务中,它会在恢复模式下启动,发下leader,并和leader进行状态同步,待到同步结束,它也参与广播消息.

说明:

    广播模式需要保证proposal被按顺序处理,因此zk采用了递增的事务id(zxid)来保证.所有的提议(proposal)都在被提出的时候加 上了zxid.实现中zxid是一个64为的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一 个新的epoch.32位是个递增计数.

    leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的server都恢复到一个正确的状态.

    zookeeper服务一致维持在Broadcast状态,直到leader崩溃了或者leader失去了大部分的followers支持.

    Broadcast模式极其类似于分布式事务中的2pctwo-phrase commit 两阶段提交):即leader提起一个决议,followers进行投票,leader对投票结果进行计算决定是否通过该决议,如果通过执行该决议(事 务),否则什么也不做.

Leader选举

每个Server启动以后都询问其它的Server它要投票给谁,对于其他server的询问,server每次根据自己的状态都回复自己推荐的 leaderid和上一次处理事务的zxid(系统启动时每个server都会推荐自己),收到所有Server回复以后,就计算出zxid最大的哪个 Server,并将这个Server相关信息设置成下一次要投票的Server.计算这过程中获得票数最多的的sever为获胜者,如果获胜者的票数超过 半数,则改server被选为leader.否则,继续这个过程,直到leader被选举出来.leader就会开始等待server连 接,Follower连接leader,将最大的zxid发送给leader,Leader根据followerzxid确定同步点,完成同步后通知 follower 已经成为uptodate状态,Follower收到uptodate消息后,又可以重新接受client的请求进行服务了.

zookeeper的数据模型

层次化的目录结构,命名符合常规文件系统规范

每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识

节点Znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点

Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本

客户端应用可以在节点上设置监视器,节点不支持部分读写,而是一次性完整读写

Zoopkeeper 提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型

Zookeeper的节点

Znode有两种类型,短暂的(ephemeral)和持久的(persistent

Znode的类型在创建时确定并且之后不能再修改

短暂znode的客户端会话结束时,zookeeper会将该短暂znode删除,短暂znode不可以有子节点

持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除

Znode有四种形式的目录节点,PERSISTENTPERSISTENT_SEQUENTIALEPHEMERALEPHEMERAL_SEQUENTIAL.

znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,

通过这个特性可以实现的功能包括配置的集中管理,集群管理,分布式锁等等.

Zookeeper的角色

领导者(leader,负责进行投票的发起和决议,更新系统状态

学习者(learner,包括跟随者(follower)和观察者(observer.

follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票

Observer可以接受客户端连接,将写请求转发给leader,observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度

客户端(client,请求发起方

Watcher

Watcher ZooKeeper 是一个核心功能,Watcher 可以监控目录节点的数据变化以及子目录的变化,一旦这些状态发生变化,服务器就会通知所有设置在这个目录节点上的 Watcher,从而每个客户端都很快知道它所关注的目录节点的状态发生变化,而做出相应的反应

可以设置观察的操作:exists,getChildren,getData

可以触发观察的操作:create,delete,setData

znode以某种方式发生变化时,“观察watch)机制可以让客户端得到通知.

可以针对ZooKeeper服务的操作来设置观察,该服务的其他 操作可以触发观察.

比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,exists返回 false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知.

 

三、 集群部署

 

 

Node信息

NO.

Hostname

IP

release

1

HLpzookeeper03

172.19.1.46

zookeeper-3.4.8

2

HLpzookeeper03

172.19.1.47

zookeeper-3.4.8

3

HLpzookeeper03

172.19.1.48

zookeeper-3.4.8

 

配置host

三台机器分别配置如下:

 

[root@HLpzookeeper01 ~]# echo ‘127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

172.19.1.46    HLpzookeeper01

172.19.1.47    HLpzookeeper02

172.19.1.48    HLpzookeeper03′ > /etc/hosts

[root@HLpzookeeper02 ~]# echo ‘127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

172.19.1.46    HLpzookeeper01

172.19.1.47    HLpzookeeper02

172.19.1.48    HLpzookeeper03′ > /etc/hosts

[root@HLpzookeeper03 ~]# echo ‘127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

172.19.1.46    HLpzookeeper01

172.19.1.47    HLpzookeeper02

172.19.1.48    HLpzookeeper03′ > /etc/hosts

 

 

JDK环境

[root@HLpzookeeper01 ~]# wget http://172.19.1.253/jdk.sh 

[root@HLpzookeeper01 ~]# sh jdk.sh  

 

[root@HLpzookeeper02 ~]# wget http://172.19.1.253/jdk.sh 

[root@HLpzookeeper02 ~]# sh jdk.sh  

 

[root@HLpzookeeper03 ~]# wget http://172.19.1.253/jdk.sh 

[root@HLpzookeeper03 ~]# sh jdk.sh  

 

 

安装节点

[root@HLpzookeeper01~]  cd /usr/local/src

[root@HLpzookeeper01src] wget http://apache.fayea.com/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz

 

[root@HLpzookeeper01 src]tar xf zookeeper*

[root@HLpzookeeper01 src] mv zookeeper-3.4.8 /usr/local/zookeeper

[root@HLpzookeeper01 src] cd /usr/local/zookeeper

[root@HLpzookeeper01 zookeeper]# grep -v ‘^#’ conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper

clientPort=2181

[root@HLpzookeeper01 zookeeper]# sed -i  ‘1,$s#dataDir=/tmp/zookeeper#dataDir=/usr/local/zookeeper#g’  conf/zoo.cfg

[root@HLpzookeeper02~]  cd /usr/local/src

[root@HLpzookeeper02src] wget http://apache.fayea.com/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz

 

[root@HLpzookeeper02 src]tar xf zookeeper*

[root@HLpzookeeper02 src] mv zookeeper-3.4.8 /usr/local/zookeeper

[root@HLpzookeeper02 src] cd /usr/local/zookeeper

[root@HLpzookeeper02 zookeeper]# grep -v ‘^#’ conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper

clientPort=2181

[root@HLpzookeeper02 zookeeper]# sed -i  ‘1,$s#dataDir=/tmp/zookeeper#dataDir=/usr/local/zookeeper#g’  conf/zoo.cfg

[root@HLpzookeeper03~]  cd /usr/local/src

[root@HLpzookeeper03src] wget http://apache.fayea.com/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz

 

[root@HLpzookeeper03 src]tar xf zookeeper*

[root@HLpzookeeper03 src] mv zookeeper-3.4.8 /usr/local/zookeeper

[root@HLpzookeeper03 src] cd /usr/local/zookeeper

[root@HLpzookeeper03 zookeeper]# grep -v ‘^#’ conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/tmp/zookeeper

clientPort=2181

[root@HLpzookeeper03 zookeeper]# sed -i  ‘1,$s#dataDir=/tmp/zookeeper#dataDir=/usr/local/zookeeper#g’  conf/zoo.cfg

启动节点

[root@HLpzookeeper01 zookeeper]# bin/zkServer.sh start  

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper … STARTED

[root@HLpzookeeper02 zookeeper]# bin/zkServer.sh start  

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper … STARTED

[root@HLpzookeeper03 zookeeper]# bin/zkServer.sh start  

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper … STARTED

 

连接节点

[root@HLpzookeeper03 zookeeper]# bin/zkCli.sh

Connecting to localhost:2181

[zk: localhost:2181(CONNECTED) 0]

[zk: localhost:2181(CONNECTED) 0] quit

[root@HLpzookeeper02 zookeeper]# bin/zkCli.sh

Connecting to localhost:2181

[zk: localhost:2181(CONNECTED) 0]

[zk: localhost:2181(CONNECTED) 0] quit

[root@HLpzookeeper01 zookeeper]# bin/zkCli.sh

Connecting to localhost:2181

[zk: localhost:2181(CONNECTED) 0]

[zk: localhost:2181(CONNECTED) 0] quit

 

 

集群配置

ZooKeeper分布式模式安装(ZooKeeper集群)也比较容易,这里说明一下基本要点。

首 先要明确的是,ZooKeeper集群是一个独立的分布式协调服务集群,独立的含义就是说,如果想使用ZooKeeper实现分布式应用的协调与管 理,简化协调与管理,任何分布式应用都可以使用,这就要归功于Zookeeper的数据模型(Data Model)和层次命名空间(Hierarchical Namespace)结构,详细可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html。在设计你的分布式应用协调服务时,首要的就是考虑如何组织层次命名空间。

 

 

 

 

第一步:主机名称到IP地址映射配置

之一步之前在node配置中已经做过了  飘过!!!

 

第二步:修改ZooKeeper配置文件

/usr/local/zookeeper

[root@HLpzookeeper01  zookeeper]#echo ‘server.1=HLpzookeeper01:2888:3888  

server.2=HLpzookeeper02:2888:3888  

server.3=HLpzookeeper03:2888:3888′>>  conf/zoo.cfg

 

[root@HLpzookeeper02  zookeeper]#echo ‘server.1=HLpzookeeper01:2888:3888  

server.2=HLpzookeeper02:2888:3888  

server.3=HLpzookeeper03:2888:3888′>>  conf/zoo.cfg

 

[root@HLpzookeeper02  zookeeper]#echo ‘server.1=HLpzookeeper01:2888:3888  

server.2=HLpzookeeper02:2888:3888  

server.3=HLpzookeeper03:2888:3888′>>  conf/zoo.cfg

 

 

步:设置myid

[root@HLpzookeeper01  zookeeper]echo “1” > /usr/local/zookeeper/myid  

[root@HLpzookeeper02  zookeeper]#echo “2” > /usr/local/zookeeper/myid  

[root@HLpzookeeper02  zookeeper]#echo “3” > /usr/local/zookeeper/myid  

 

 

启动集群

 

[root@HLpzookeeper01  zookeeper]bin/zkServer.sh stop  

[root@HLpzookeeper01  zookeeper]bin/zkServer.sh start

[root@HLpzookeeper02  zookeeper]bin/zkServer.sh stop  

[root@HLpzookeeper02  zookeeper]bin/zkServer.sh start

[root@HLpzookeeper03  zookeeper]bin/zkServer.sh stop  

[root@HLpzookeeper03  zookeeper]bin/zkServer.sh start

 

查看状态

 

[root@HLpzookeeper03 zookeeper]# bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: leader

[root@HLpzookeeper02 zookeeper]# bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

[root@HLpzookeeper01 zookeeper]# bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Mode: follower

 

. Zkdash安装

由于zkdash只是一个管理工具,此处我们选择1节点安装

参考链接

 

需要使用python2.7 pip 安装方法参考下面的链接:

http://blog.sptty.com/2015/12/28/linux%E4%B8%8Bpython2-7-11-%E5%AE%89%E8%A3%85.html

 

http://blog.sptty.com/2015/12/28/python-%E5%AE%89%E8%A3%85easy_install%E5%92%8Cpip.html

 

http://blog.sptty.com/2015/12/28/zookeeper-%E7%AE%A1%E7%90%86%E7%95%8C%E9%9D%A2%E5%B7%A5%E5%85%B7-zkdash%E5%AE%89%E8%A3%85.html

 

如果系统只安装了base,那么在安装上面两项的时候会出现错误,主要原因是因为越少安装包,

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline  MySQL-python mysql-devel zlib zlib-devel

 

上面的包装上,基本不会出错了

下面附上本次遇到的错误:

 

1、检查有没有pip 命令

 

2、安装 pip 命令:

3、安装 setuptools: 搜到的资料:

shell# wget  http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz

 

4、[root@localhost setuptools-0.6c11]# python setup.py  build

 

5、[root@localhost setuptools-0.6c11]# python setup.py  install

 

6、重新回去安装pip:

 

7、执行pip 命令,出现错误解决:

 

8、搜索百度经验:

[root@localhost pip-1.5.5]# yum install openssl -y

 

9、重新编译安装了python2.7

 

10、用重新编译安装的 python 安装pip

 

 

11、看pip 安装的版本是不是2.7

 

 

12、安装pip install -r  requerment的时候出现错误:

 

13、安装这个包:

 

14、修改配置文件:zkdash/conf/conf/yml

 

 

15、创建数据库:

 

 

 

16、启动服务

 

这样在浏览器就可以访问了:

IP地址填写的是:部署zkdash 服务的机器

 

 

 

 

至此,本次实施完成!

One Comment - Leave a Comment
  • Leave a comment

    电子邮件地址不会被公开。 必填项已用*标注