zookeeper协调原理分析

CAP原理

CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得。
一致性表示分布式系统中各个节点数据的一致性
可用性代表数据访问的高性能
分区容错性指的是因为同步的时间问题，数据不一致导致出现了多个不同数据版本的分区现象，但系统仍能继续正常运行（容错）
很显然，三者最多只能取其二
分区容错性与一致性共存（同步需要阻塞）必会与可用性冲突
分区容错性与可用性共存（数据不同步）必会与一致性共存冲突
可用性与一致性共存必会与分区容错性冲突（实际上这个是不实际的需求，因为分布式环境下因为网络通信的延迟分区容错性是必要的）
综上，大部分分布式架构都是实现数据的最终一致性而非实现强一致性（因为分区容错性的必然存在）
zookeeper的zap协议就是对2pc进一步提高分区容错性与可用性而降低强一致性的一种协议，同时其保证最终一致性，所以在分布式环境下仍是可用的

事务请求

所有事务请求（增删改）都会转发到leader由leader处理
zookeeper内部是依赖一个改进版的2pc——ZAB协议

传统2pc

传统2pc分为两个阶段preCommit和commit阶段
preCommit阶段由leader向所有节点发送事务请求，各自执行后向leader返回执行成功或者失败，但不进行commit操作（锁资源，将undo和redo信息写到事务日志）
commit阶段可由以下几种情况触发:
1.超时没有收到所有节点反馈
2.某个节点反馈失败
3.全部节点返回成功
到了commit阶段，1和2两种情况都会触发rollback，leader向参与本次事务的所有节点发送rollback命令，每个节点读取undo，执行事务回滚
第3种情况，leader向所有参与本次事务的节点发送commit命令，每个节点读取redo，执行事务提交
commit阶段以后，每个节点才会释放资源，切这个过程是同步的，且单点影响较大，单个节点故障会导致集群事务失败

ZAB协议-事务广播

ZAB协议是一个中心化的分布式协调协议（非中心化的如redis的gossip——原理和网络协议的泛洪法类似）
ZAB协议对于事务请求，采取过半选举原则，对于分区容错性进行宽容但避免了单点问题，因为最终会进行数据同步，所以还是能保证分布式环境下数据的最终一致性
preCommit阶段，zookeeper的leader节点收到follower发送的事务请求，执行该事务不提交并封装为PROPOSAL消息（包含redo、undo等），向所有follower节点下发该PROPOSAL消息
follower节点收到PROPOSAL消息后，将对应的数据信息写到磁盘日志文件返回ack，如果写入失败则抛弃leader，重新加入集群（会等到事务结束才能成功）进入数据同步阶段
commit阶段，当超时时间到来前，leader节点收到参与投票的节点（follower节点+leader）超过半数以上的ack时，认为本次事务成功，向所有follower节点广播commit消息（只有zxid），并向observer发送INFORM消息（包含PROPOSAL消息），要求每个节点将PROPOSAL消息执行事务提交（写入内存）
如果超时没有收到半数以上的commit，认为本次事务失败，向所有follower节点广播rollback消息，因为提交事务了，执行了该操作的所有zookeeper服务器的zxid会+1
接下来，集群所有节点在与leader通信时，发现zxid比leader小的（重新加入集群那部分），leader就会发送命令进行数据同步

ZAB协议-崩溃恢复

zookeeper集群下，非leader节点出现崩溃只要不影响选举，因为重新启动以后连接集群都要与leader通信，比较zxid进行数据同步，较好解决
而leader节点如果崩溃，一般要面临重新选举，选举也是采用半数通过原则（每次选举都会将当前结点能收到消息的，收到最多投票的节点作为下一次选举对象，如果选举对象没有获得半数以上选票会重复这个过程）
leader选举后，就面临数据同步问题
集群内的有两种
1.旧leader收到的事务请求但还没有发出的
2.旧leader发出commit操作但是还没有收到全部反馈的
对于第一种情况，zookeeper采取的策略是直接丢弃，对执行了该事务未提交的机器进行rollback
实现原理基于zxid的设计，zxid是64位，高32位为epoch，低32位为PROPOSAL事务计数器
epoch为leader编号，每换一次leader会+1
对于第二种情况，zookeeper采取的策略是保证全部提交，这时如果有follower中保存有盖zxid的PROPOSAL事务而未提交，leader会发送commit命令