2、Zeekeeper基础

烟雨 5年前 (2021-06-20) 阅读数 295 #Zookeeper
文章标签 Zookeeper
Zookeeper它是一个分布式协调框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
Zookeeper经典的应用场景:分布式配置中心、分布式注册中心、分布式锁、分布式队列、集群选举、分布式屏障、发布/订阅

一、核心概念

Zookeeper是一个用于存储少量数据的基于内存的数据库,主要有如下两个核心的概念:文件系统数据结构+监听通知机制

1.1、文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构

image.png

每个子目录项都被称作为znode(目录节点),和文件系统类似,我们能够自由的增加、删除znode,在一个znode下增加、删除子znode。有四种类型的znode:
  1. PERSISTENT­(持久化目录节点),永远存在。

  2. PERSISTENT_SEQUENTIAL(持久化顺序编号目录节点),永远存在。有个顺序编号

  3. EPHEMERAL­(临时目录节点),客户端与zookeeper断开连接后,该节点被删除。

  4. EPHEMERAL_SEQUENTIAL­(临时顺序编号目录节点),客户端与zookeeper断开连接后,该节点被删除。有个顺序编号。

其他类型:
  1. Container节点(3.5.3 版本新增,如果Container节点下面没有子节点,则Container节点在未来会被Zookeeper自动清除,定时任务默认60s检查一次)。

  2. TTL节点(默认禁用,只能通过系统配置 zookeeper.extendedTypesEnabled=true开启)。

1.2、客户端监听通知机制

客户端监听通知机制会关心它所监听的节点/目录/子目录/递归子节点。
  1. 如果注册的是对某个节点的监听,则当这个节点被删除,或者被修改时,对应的客户端将被通知。

  2. 如果注册的是对某个目录的监听,则当这个目录有子节点被创建、有子节点被删除,对应的客户端将被通知。

  3. 如果注册的是对某个目录的递归子节点进行监听,则当这个目录下面的任意子节点有目录结构的变化(有子节点被创建,或被删除)或者根节点有数据变化时,对应的客户端将被通知。

注意:
所有的通知都是一次性的,及无论是对节点还是对目录进行的监听,一旦触发,对应的监听即被移除
递归子节点,监听是对所有子节点的,所以,每个子节点下面的事件同样只会被触发一次

1.3、ACL权限控制( Access Control List )

Zookeeper的ACL权限控制,可以控制节点的读写操作,保证数据的安全。
ACL权限设置分为 3 部分组成,分别是:权限模式(Scheme)、授权对象(ID)、权限信息(Permission)

权限模式(Scheme)

用来设置ZooKeeper服务器进行权限验证的方式。
  • 范围验证:可以针对一个IP或者一段IP地址授予某种权限。

    • 比如可以让一个 IP 地址为“ip:192.168.1.100”的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过“ip:192.168.1.1/24”给一段IP地址的机器赋权。

  • 口令验证:也就是用户名密码的方式去验证。

    • 在ZooKeeper中这种验证方式是Digest认证,而Digest这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后,ZooKeeper服务端会对密码部分使用SHA-1和BASE64算法进行加密,以保证安全性。

还有一种Super权限模式,Super可以认为是一种特殊的Digest认证。具有Super权限的客户端可以对ZooKeeper上的任意数据节点进行任意操作。

授权对象(ID)

授权对象就是说我们要把权限赋予谁,而对应于4种不同的权限模式来说,如果我们选择采用IP方式,使用的授权对象可以是一个IP地址或IP地址段;而如果使用Digest或Super方式,则对应于一个用户名。如果是 World 模式,是授权系统中所有的用户。
权限信息(Permission)
权限就是指我们可以在数据节点上执行的操作种类。在ZooKeeper中已经定义好的权限有 5 种:
  1. c:create:数据节点创建权限,授予权限的对象可以在数据节点下创建子节点。

  2. w:wirte:数据节点更新权限,授予权限的对象可以更新该数据节点。

  3. r:read:数据节点读取权限,授予权限的对象可以读取该节点的内容以及子节点的列表信息。

  4. d:delete:数据节点删除权限,授予权限的对象可以删除该数据节点的子节点。

  5. a:admin:数据节点管理者权限,授予权限的对象可以对该数据节点体进行 ACL 权限设。

1.4、ZooKeeper内存数据

Zookeeper数据的组织形式为一个类似文件系统的数据结构,而这些数据都是存储在内存中的,所以我们可以认为,Zookeeper是一个基于内存的小型数据库!
public class DataTree {
    private final ConcurrentHashMap<String, DataNode> nodes =
        new ConcurrentHashMap<String, DataNode>();
        
        
    private final WatchManager dataWatches = new WatchManager();
    private final WatchManager childWatches = new WatchManager();
}

DataNode 是Zookeeper存储节点数据的最小单位

public class DataNode implements Record {
    byte data[];
    Long acl;
    public StatPersisted stat;
    private Set<String> children = null;
}

1.5、ZooKeeper事务日志

针对每一次客户端的事务操作,将数据变更应用到内存数据库中,也会将他们记录到事务日志中。
事务日志文件名为: log.<当时最大事务ID>
可以在Zookeeper的主配置文件zoo.cfg中配置数据持久化目录,也就是事务日志的存储路径dataLogDir。
如果没有配置dataLogDir(非必填),事务日志将存储到dataDir(必填项)目录。
Zookeeper还提供了格式化工具,可以进行数据查看事务日志数据,类名:org.apache.zookeeper.server.LogFormatter
java -classpath .:slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.LogFormatter /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/data/version-2/log.1

image.png

从左到右分别记录了操作时间,客户端会话ID、CXID、ZXID、操作类型、节点路径、节点数据(用#+ascii 码表示)、节点版本。
Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作,事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块,即磁盘Seek。
因此为了提升磁盘IO的效率,Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候,就向操作系统申请一块大一点的磁盘块,这个分配的磁盘大小可以通过系统参数zookeeper.preAllocSize进行配

1.6、ZooKeeper数据快照

数据快照用于记录Zookeeper服务器上某一时刻的全量数据,并将其写入到指定的磁盘文件中。可以通过配置snapCount配置每间隔多少个事务请求,生成快照,数据存储在dataDir 指定的目录中,可以通过如下方式进行查看快照数据。
为了避免集群中所有机器在同一时间进行快照,实际的快照生成时机为事务数达到 [snapCount/2 + 随机数]个数(随机数范围为1 ~ snapCount/2)时开始快照。
快照事务日志文件名为: snapshot.<当时最大事务ID>
java -classpath .:slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/data-dir/version-2/snapshot.0

image.png

问题:有了事务日志,为啥还要快照数据?
快照数据主要时为了快速恢复, 事务日志文件是每次事务请求都会进行追加的操作,而快照是达到某种设定条件下的内存全量数据。所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据,所以恢复数据的时候,可以先恢复快照数据,再通过增量恢复事务日志中的数据即可。

二、Zeekeeper基础命令

2.1、节点相关命令

创建节点

create [‐s] [‐e] [‐c] [‐t ttl] path [data] [acl]
中括号为可选项,没有则默认创建持久化
-s:顺序节点 ‐e:临时节点 -c:容器节点 -t:可以给节点添加过期时间,默认禁用,需要通过系统参数-Dzookeeper.extendedTypesEnabled=true启用.
举例:
create /test‐node some‐data

查看节点

get /test‐node

修改节点数据

set /test‐node some‐data‐changed

查看节点信息

stat /test‐node

image.png

  1. cZxid:创建znode的事务ID(Zxid的值)。

  2. mZxid:最后修改znode的事务ID。

  3. pZxid:最后添加或删除子节点的事务ID(子节点列表发生变化才会发生改变)。

  4. ctime:创建时间。

  5. mtime:最近修改时间。

  6. dataVersion:节点当前数据版本。

  7. cversion:子节点结果集版本(一个节点的子节点增加、删除都会影响这个版本)。

  8. aclVersion:表示对此znode的acl版本。

  9. ephemeralOwner:节点是临时节点时,表示节点所有者的session ID。 如果znode不是临时节点,则该字段设置为零。

  10. dataLength:节点数据字段的长度。

  11. numChildren:节点的子znode的数量。

查看节点状态信息同时查看数据

image.png

通过版本号据实现乐观锁

上面看出/test-node当前的数据版本是dataVersion=1 , 这时客户端用 set命令修改数据的时候可以把版本号带上。
set -v 1 /test-node textName

如果在执行上面 set命令前, 有人修改了数据,zookeeper 会递增版本号, 这个时候,如果再用以前的版本号去修改,将会导致修改失败,报如下错误

image.png

2.2、事件监听

针对节点的监听:一定事件触发,对应的注册立刻被移除,所以事件监听是一次性的。
get ‐w /path // 注册监听的同时获取数据
stat ‐w /path // 对节点进行监听,且获取元数据信息
针对目录的监听,目录的变化,会触发事件,且一旦触发,对应的监听也会被移除,后续对节点的创建没有触发监听事件。
针对递归子目录的监听(‐R区分大小写,一定用大写):
ls ‐R ‐w /path

如下对/test节点进行递归监听,但是每个目录下的目录监听也是一次性的,如第一次在/test目录下创建节点时,触发监听事件,第二次则没有,同样,因为时递归的目录监听,所以在/test/sub0下进行节点创建时,触发事件,但是再次创建/test/sub0/subsub1节点时,没有触发事件。

image.png

Zookeeper事件类型:
  1. None: 连接建立事件

  2. NodeCreated:节点创建。

  3. NodeDeleted:节点删除。

  4. NodeDataChanged:节点数据变化。

  5. NodeChildrenChanged:子节点列表变化。

  6. DataWatchRemoved:节点监听被移除。

  7. ChildWatchRemoved:子节点监听被移除。

2.3、Zookeeper的 ACL权限控制命令

getAcl:获取某个节点的acl权限信息。
setAcl:设置某个节点的acl权限信息。
addauth:输入认证授权信息,相当于注册用户信息,注册时输入明文密码,zk将以密文的形式存储。
可以通过系统参数zookeeper.skipACL=yes进行配置,默认是no,可以配置为true,则配置过的ACL将不再进行权限检测。

生成授权ID的两种方式

代码方式
@Test
public void generateSuperDigest() throws NoSuchAlgorithmException {
	String sId = DigestAuthenticationProvider.generateDigest("gj:test");
	System.out.println(sId);// gj:X/NSthOB0fD/OT6iilJ55WJVado=
}

命令方式

echo ‐n <user>:<password> | openssl dgst ‐binary ‐sha1 | openssl base64

设置ACL有两种方式

节点创建的同时设置ACL
create /zk‐node datatest digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa
或者
setAcl /zk‐node digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa

添加授权信息后不能直接访问直接访问将报如下异常

异常信息:org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /zk‐node

访问前需要添加授权信息

addauth digest gj:test

auth明文授权

使用之前需要先addauth digest username:password注册用户信息,后续可以直接用明文授权
addauth digest zender:123
create /node‐1 node1data auth:zender:123:cdwra
这是zender用户授权信息会被zk保存,可以认为当前的授权用户为zender
get /node‐1
node1data

IP授权模式

setAcl /node‐ip ip:192.168.109.128:cdwra
create /node‐ip data ip:192.168.109.128:cdwra
多个指定IP可以通过逗号分隔:
setAcl /node‐ip ip:192.168.109.128:cdwra,ip:192.168.109.129:zender

Super超级管理员模式

这是一种特殊的Digest模式, 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作。需要在启动了上通过JVM系统参数开启:
‐Dzookeeper.DigestAuthenticationProvider.superDigest=super:<base64encoded(SHA1(password))


版权声明

非特殊说明,本文由Zender原创或收集发布,欢迎转载。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

作者文章
热门