Zookeeper与Kafka基础概念和原理

1、zookeeper概念介绍

　　在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。

　　这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个地域的服务器组成的一个应用系统，在第一台机器上挂载了一个资源，然后这三个地域分布的应用进程都要竞争这个资源，但我们又不希望多个进程同时进行访问，这个时候就需要一个协调器，来让它们有序的来访问这个资源。这个协调器就是分布式系统中经常提到的那个“锁”，例如”进程1“在使用该资源的时候，会先去获得这把锁，”进程1“获得锁以后会对该资源保持独占，此时其它进程就无法访问该资源，“进程1”;在用完该资源以后会将该锁释放掉，以便让其它进程来获得锁。由此可见，通过这个“锁”机制，就可以保证分布式系统中多个进程能够有序的访问该共享资源。这里把这个分布式环境下的这个“锁”叫作分布式锁。这个分布式锁就是分布式协调技术实现的核心内容。

　　目前，在分布式协调技术方面做得比较好的有Google的Chubby，还有Apache的ZooKeeper，它们都是分布式锁的实现者。ZooKeeper所提供锁服务在分布式领域久经考验，它的可靠性、可用性都是经过理论和实践验证的。

　　ZooKeeper是一种为分布式应用所设计的高可用、高性能的开源协调服务，它提供了一项基本服务：分布式锁服务，同时，也提供了数据的维护和管理机制，如：统一命名服务、状态同步服务、集群管理、分布式消息队列、分布式应用配置项的管理等等。

2、zookeeper应用举例

1）什么是单点故障问题呢？

　　所谓单点故障，就是在一个主从的分布式系统中，主节点负责任务调度分发，从节点负责任务的处理，而当主节点发生故障时，整个应用系统也就瘫痪了，那么这种故障就称为单点故障。那我们的解决方法就是通过对集群master角色的选取，来解决分布式系统单点故障的问题。

2）传统的方式是怎么解决单点故障的？以及有哪些缺点呢？

　　传统的方式是采用一个备用节点，这个备用节点定期向主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack信息，当备用节点收到回复的时候就会认为当前主节点运行正常，让它继续提供服务。而当主节点故障时，备用节点就无法收到回复信息了，此时，备用节点就认为主节点宕机，然后接替它成为新的主节点继续提供服务。

　　这种传统解决单点故障的方法，虽然在一定程度上解决了问题，但是有一个隐患，就是网络问题，可能会存在这样一种情况：主节点并没有出现故障，只是在回复ack响应的时候网络发生了故障，这样备用节点就无法收到回复，那么它就会认为主节点出现了故障，接着，备用节点将接管主节点的服务，并成为新的主节点，此时，分布式系统中就出现了两个主节点（双Master节点）的情况，双Master节点的出现，会导致分布式系统的服务发生混乱。这样的话，整个分布式系统将变得不可用。为了防止出现这种情况，就需要引入ZooKeeper来解决这种问题。

3）zookeeper的工作原理是什么？

　　下面通过三种情形来讲解：

　　（1）master启动

　　在分布式系统中引入Zookeeper以后，就可以配置多个主节点，这里以配置两个主节点为例，假定它们是主节点A 和主节点B，当两个主节点都启动后，它们都会向ZooKeeper中注册节点信息。我们假设主节点A 锁注册的节点信息是 master00001 ，主节点B 注册的节点信息是 master00002 ，注册完以后会进行选举，选举有多种算法，这里以编号最小作为选举算法，那么编号最小的节点将在选举中获胜并获得锁成为主节点，也就是主节点A 将会获得锁成为主节点，然后主节点B 将被阻塞成为一个备用节点。这样，通过这种方式Zookeeper就完成了对两个Master进程的调度。完成了主、备节点的分配和协作。

　　（2）master故障

　　如果主节点A 发生了故障，这时候它在ZooKeeper所注册的节点信息会被自动删除，而ZooKeeper会自动感知节点的变化，发现主节点A 故障后，会再次发出选举，这时候主节点B 将在选举中获胜，替代主节点A 成为新的主节点，这样就完成了主、被节点的重新选举。

　　（3）master恢复

　　如果主节点恢复了，它会再次向ZooKeeper注册自身的节点信息，只不过这时候它注册的节点信息将会变成 master00003 ，而不是原来的信息。ZooKeeper会感知节点的变化再次发动选举，这时候主节点B 在选举中会再次获胜继续担任主节点，主节点A 会担任备用节点。

　　zookeeper就是通过这样的协调、调度机制如此反复的对集群进行管理和状态同步的。

4）zookeeper集群架构

　　zookeeper一般是通过集群架构来提供服务的，下图是zookeeper的基本架构图。

　　zookeeper集群主要角色有server和client，其中server又分为leader、follower和observer三个三绝，每个角色的含义如下：

Leader：领导者角色，主要负责投票的发起和决议，以及更新系统状态。
follower：跟随着角色，用于接收客户端的请求并返回结果给客户端，在选举过程中参与投票。
observer：观察者角色，用户接收客户端的请求，并将写请求转发给leader，同时同步leader状态，但是不参与投票。Observer目的是扩展系统，提高伸缩性。
client：客户端角色，用于向zookeeper发起请求。

　　Zookeeper集群中每个Server在内存中存储了一份数据，在Zookeeper启动时，将从实例中选举一个Server作为leader，Leader负责处理数据更新等操作，当且仅当大多数Server在内存中成功修改数据，才认为数据修改成功。

　　Zookeeper写的流程为：客户端Client首先和一个Server或者Observe通信，发起写请求，然后Server将写请求转发给Leader，Leader再将写请求转发给其它Server，其它Server在接收到写请求后写入数据并响应Leader，Leader在接收到大多数写成功回应后，认为数据写成功，最后响应Client，完成一次写操作过程。

3、Kafka基础与入门

1）kafka基本概念

　　Kafka是一种高吞吐量的分布式发布/订阅消息系统，这是官方对kafka的定义，这样说起来，可能不太好理解，这里简单举个例子：现在是个大数据时代，各种商业、社交、搜索、浏览都会产生大量的数据。那么如何快速收集这些数据，如何实时的分析这些数据，是一个必须要解决的问题，同时，这也形成了一个业务需求模型，即生产者生产（produce）各种数据，消费者（consume）消费（分析、处理）这些数据。那么面对这些需求，如何高效、稳定的完成数据的生产和消费呢？这就需要在生产者与消费者之间，建立一个通信的桥梁，这个桥梁就是消息系统。从微观层面来说，这种业务需求也可理解为不同的系统之间如何传递消息。

　　kafka是Apache组织下的一个开源系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop平台的数据分析、低时延的实时系统、storm/spark流式处理引擎等。kafka现在它已被多家大型公司作为多种类型的数据管道和消息系统使用。

2）kafka角色术语

　　kafka的一些核心概念和角色

Broker：Kafka集群包含一个或多个服务器，每个服务器被称为broker。
Topic：每条发布到Kafka集群的消息都有一个分类，这个类别被称为Topic（主题）。
Producer：指消息的生产者，负责发布消息到kafka broker。
Consumer：指消息的消费者，从kafka broker拉取数据，并消费这些已发布的消息。
Partition：Partition是物理上的概念，每个Topic包含一个或多个Partition，每个partition都是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。
Consumer Group：消费者组，可以给每个Consumer指定消费组，若不指定消费者组，则属于默认的group。
Message：消息，通信的基本单位，每个producer可以向一个topic发布一些消息。

3）kafka拓扑架构

　　一个典型的Kafka集群包含若干Producer，若干broker、若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。典型架构如下图所示：

　　从图中可以看出，典型的消息系统有生产者（Producer），存储系统（broker）和消费者（Consumer）组成，Kafka作为分布式的消息系统支持多个生产者和多个消费者，生产者可以将消息分布到集群中不同节点的不同Partition上，消费者也可以消费集群中多个节点上的多个Partition。在写消息时允许多个生产者写到同一个Partition中，但是读消息时一个Partition只允许被一个消费组中的一个消费者所消费，而一个消费者可以消费多个Partition。也就是说同一个消费组下消费者对Partition是互斥的，而不同消费组之间是共享的

　　kafka支持消息持久化存储，持久化数据保存在kafka的日志文件中，在生产者生产消息后，kafka不会直接把消息传递给消费者，而是先要在broker中进行存储，为了减少磁盘写入的次数，broker会将消息暂时缓存起来，当消息的个数或尺寸、大小达到一定阀值时，再统一写到磁盘上，这样不但提高了kafka的执行效率，也减少了磁盘IO调用次数。

　　kafka中每条消息写到partition中，是顺序写入磁盘的，这个很重要，因为在机械盘中如果是随机写入的话，效率将是很低的，但是如果是顺序写入，那么效率却是非常高，这种顺序写入磁盘机制是kafka高吞吐率的一个很重要的保证。

4）Topic和partition　　

　　Kafka中的topic是以partition的形式存放的，每一个topic都可以设置它的partition数量，Partition的数量决定了组成topic的log的数量。推荐partition的数量一定要大于同时运行的consumer的数量。另外，建议partition的数量要小于等于集群broker的数量，这样消息数据就可以均匀的分布在各个broker中

　　那么，Topic为什么要设置多个Partition呢，这是因为kafka是基于文件存储的，通过配置多个partition可以将消息内容分散存储到多个broker上,这样可以避免文件尺寸达到单机磁盘的上限。同时，将一个topic切分成任意多个partitions，可以保证消息存储、消息消费的效率，因为越多的partitions可以容纳更多的consumer，可有效提升Kafka的吞吐率。因此，将Topic切分成多个partitions的好处是可以将大量的消息分成多批数据同时写到不同节点上，将写请求分担负载到各个集群节点。

　　在存储结构上，每个partition在物理上对应一个文件夹，该文件夹下存储这个partition的所有消息和索引文件。partiton命名规则为topic名称+序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。

　　在每个partition(文件夹)中有多个大小相等的segment(段)数据文件，每个segment的大小是相同的，但是每条消息的大小可能不相同，因此segment<br/>数据文件中消息数量不一定相等。segment数据文件有两个部分组成，分别为index file和data file，此两个文件是一一对应，成对出现，后缀”.index“和“.log”分别表示为segment索引文件和数据文件。

5）Producer生产机制

　　Producer是消息和数据的生产者，它发送消息到broker时，会根据Paritition机制选择将其存储到哪一个Partition。如果Partition机制设置的合理，所有消息都可以均匀分布到不同的Partition里，这样就实现了数据的负载均衡。如果一个Topic对应一个文件，那这个文件所在的机器I/O将会成为这个Topic的性能瓶颈，而有了Partition后，不同的消息可以并行写入不同broker的不同Partition里，极大的提高了吞吐率。

6）Consumer消费机制

　　Kafka发布消息通常有两种模式：队列模式（queuing）和发布/订阅模式(publish-subscribe)。在队列模式下，只有一个消费组，而这个消费组有多个消费者，一条消息只能被这个消费组中的一个消费者所消费；而在发布/订阅模式下，可有多个消费组，每个消费组只有一个消费者，同一条消息可被多个消费组消费。　　

Kafka中的Producer和consumer采用的是push、pull的模式，即producer向 broker进行push消息，comsumer从bork进行pull消息，push和pull对于消息的生产和消费是异步进行的。pull模式的一个好处是consumer可自主控制消费消息的速率，同时consumer还可以自己控制消费消息的方式是批量的从broker拉取数据还是逐条消费数据。

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

4款简单实用的的服务器文件管理工具推荐
作为Linux服务器远程桌面系统的必备工具，选择一款好用的Linux文件管理器，能让日常使用更效率。接下来推荐几款功能丰富，适用于Linux 的免费文件管理器，希望能对大家有所帮助。这几款Linux文件管理器分别具有文件传输（上传下载）、可视化面板、目录文件的管理（新建、复制…...
2024/4/16 14:53:30
Jenkins实现html代码上线与回滚
一、案例环境二、部署Gitlab1）部署Gitlab2）配置免密登录3）测试免密登录三、部署Jenkins四、Jenkins集成Gitlab五、部署Nginx六、Jenkins实现代码自动上线七、Jenkins实现代码自动部署与回退及重复构建一、案例环境系统 IP地址主机名所运行的服务Centos 7 192.168.1.6 git…...
2024/4/17 8:24:38
CentOS 8部署自动化运维工具-- Ansible
Ansible简介ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于 paramiko 开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量…...
2024/3/14 6:49:18
实战-使用 Cobbler 安装一台 CentOS 主机
安装 CentOS 主机之前，需要安装好 Cobbler 服务端。本文档使用的是 VMware Workstation Pro 14 来安装 CentOS 主机，网络模式需要和 Cobbler 服务端的网络模式相同。环境：CentOS Linux release 7.6.1810VMware Workstation Pro 14安装一台主机当前为虚拟机操作，虚拟机默认为…...
2024/4/16 14:53:30
CentOS 7搭建Haproxy+Nginx+Firewalld+DNS负载均衡
一、部署第一台Nginx网站关于Nginx的原理概述及详细配置请参考博文：Centos 7部署Nginx网站服务 [root@centos01 ~]# yum -y install prce-devel zlib-devel  [root@centos01 ~]# useradd -M -s /sbin/nologin nginx <!--创建管理Nginx账户--&g…...
2024/4/16 14:53:40
centos-基础知识（一）
1、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。linux的发行版：RedHat、Fedora、红旗、debian、Ubuntu、centos不同发行版之间的联系和区别：Red Hat ，是redhat自己的发行的企业版，是redhat的一个重要节点。Fedore是一款基于linux的操作系统，也是一组维持…...
2024/3/14 6:49:14
[技术干货] 博科光交机SNMP配置
1、首先zabbix上需配置好并启用SNMPtrap功能，且能登录博科光交机。 2、 Web：点击Configure——Switch Admin——Show AdvancedMode——SNMP SSH：执行snmpconfig –setsnmpv1命令进行配置3、选择SNMPv1配置trap。填好SNMP团体名、trap接收服务器IP、trap端口默认是162、tra…...
2024/4/16 14:53:35
CentOS 7 部署百万pv项目（高可用架构）
PV简介PV（Page View，页面浏览量）即点击量，通常意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。pv的解释是这样的：一个访问者在24小时（0点-23点）内到底看了网站的几个页面。需要注意的是：同一个人浏览网站的同一个页面，不重复计算pv量，点击…...
2024/4/15 6:42:10
zabbix通过ODBC监控sybase举例
本文用到的ODBC和freetds，请参考一下两个网址，进行安装：https://www.zabbix.com/documentation/4.0/zh/manual/config/items/itemtypes/odbc_checkshttps://www.zabbix.com/documentation/4.0/zh/manual/config/items/itemtypes/odbc_checks/unixodbc_mssqlODBC自动发现规则…...
2024/4/16 14:54:38
K8s节点加入master不显示问题
查看节点只能看到本机master无法看到node节点在node节点执行以下命令： kubeadm reset执行命令后再次执行加入master命令即可再次查看...
2024/4/16 14:54:33
使用ESXI客户端安装虚拟机
1.安装时选择硬盘为LVM（这里也可选逻辑卷为后续扩容方便）2.分区按照Linux的ext4分区进行分配根目录、boot分区和swap交换分区，剩余空间全给LVM3.这里选择剩余空间全给LVM4.创建对应卷组vg1和逻辑卷lv15.选择基本服务器，左下角选customize now进行自定义配置6.加入一些Web服…...
2024/4/16 14:54:33
sed
sed /^$/d file 删除空白行显示（原文件不动） sed 1,10d file 删除1到10行显示（原文件不动） sed s/root/&super/p file 在root后追加super 打印输出（原文件不动） sed s/root/&super/g file 在所有root后追加super 打印输出（原文件不动） [root@bogon data]$…...
2024/4/19 14:59:35
CA认证原理及CFSSL证书生成工具的使用
说明本文转载于CA认证原理及CFSSL证书生成工具的使用，如有侵权，请及时与我联系～k8s证书生成官网地址：https://kubernetes.io/zh/docs/concepts/cluster-administration/certificates/ 实战下面是三个实战项目供大家参考，下文参考来自：https://aronligithub.github.io/ …...
2024/3/14 6:49:12
文本处理工具awk常用命令
awk 其实是一门编程语言，它，支持条件判断、数组、循环等功能，我们可以把它理解成一个脚本语言解释器它与grep、sed被linux称为"三剑客"每个都有它的特长grep 更适合单纯的去查找或者匹配文本sed 更适合编辑匹配到的文本awk 更适合格式化文本，对文本进行较复杂格式…...
2024/4/17 15:35:23
从零开始搭建Gitlab服务器
Gitlab简介最近感觉就是在不断的搭建/迁移版本服务器，而现在市面上关于版本服务器搭建的指南都流于表面，真正深入骨骼的少之又少，往往以偏概全很多关键点并未提及。而版本服务器的搭建往往是一个初创型或中小型公司迫切需要解决的问题。目前市用户量和口碑较好的Git服务提供…...
2024/4/16 14:54:38
linux基本操作
查看系统、内核cat /etc/redhat-release //查看系统 uname -r //查看内核查看CPUgrep "CPU" /proc/cpuinfo运行时间uptime查看系统位数getconf LONG_BIT查看硬盘和分区df -h软件安装与卸载yum update //更新系统 yum makecache 软件名 //更…...
2024/4/16 14:54:43
文本处理工具printf命令
使用过c语言的程序员，应该很熟悉printf命令，printf命令模仿了c语言的printf( )函数 printf命令的作用是按照我们指定的格式输出文本输出文本命令echo和printf有什么区别看到echo 命令是正常输出一个文本进行换行，而printf是输出文本进行不换行 [root@zhaocheng ~]# echo be…...
2024/4/16 14:54:18
mariadb-10.5.1二进制安装
一、本博文内容简介：有关mariaDB的介绍，大家可以移步到百度百科或者mariaDB官网进行查看。本文主要是介绍mariaDB二进制包如何进行安装，以及mariaDB服务安装后的如何启动以及账户安全设置等等mariaDB截止2020-02-24日，目前发部的最新的二进制版本是mariadb-10.5.1-linux-g…...
2024/4/16 14:54:23
grep useer管理
第三周作业老王就业视频作业：1、显示/etc目录下，以非字母开头，后面跟了一个字母以及其它任意长度任意字符的文件或目录答：ls /etc/[^[:alpha:]][:alpha:].* 2、复制/etc目录下所有以p开头，以非数字结尾的文件或目录到/tmp/mytest1目录中。答：cp -a /etc/p*[^[:digit:]]…...
2024/3/14 6:49:05
RedHat 第25期在线培训班---第5课
一、知识点：vim编辑器：三种模式：命令模式、输入模式和末行模式；命令模式：控制光标移动，可对文本进行复制、粘贴和查找等工作；输入模式：正常的输入模式；末行模式：保存或者退出文档。命令模式下的命令dd：删除（剪切）光标所在整行；5dd：删除（剪切）从光标处开始的5…...
2024/4/16 14:54:38

Zookeeper与Kafka基础概念和原理

相关文章

最新文章