6.1 Redis基础 6.2 Redis持久化 6.3 Redis相关问题 6.4 Redis各种集群方案

6.1 Redis基础

为什么Redis快？(本机10万 QPS，经网络IO 3万QPS)

1 Redis基于内存
2 数据结构简单，对数据操作也简单的非关系型数据库(类似hash)
3 单线程处理，所以都是线程安全。也可以开启多个redis多线程执行
4 使用I/O多路复用模型，非阻塞IO(具体所有IO模型在Netty篇写，这里一带而过)

为什么Redis是单线程？

因为Redis瓶颈基于内存而不是CPU，所以Redis没有必要使用多线程

Redis具体应用

1 String类型

常用操作 set, get, incr，位操作等
应用最基本的数据类型，保存各种信息等，这里重点写二进制下使用场景。二进制下bitmap只有byte概念，不会处理数据，显示长度以byte长度显示。简单的二进制操作 setbit k1 9 1(继承k1之前值，把k1的第九个bit设为1)BITCOUNT k1 0 2(k1下0到2中3个字节有几个1)比如统计用户窗口登陆次数。setbit k1 22 1(设置k1用户在第22天登陆一次，然后用bitcount数)setbit 20200101 7setbit 20200101 20则表示2020年1月1号，7号和20号用户登陆了

2 List类型

常用操作 lpush, lrange等，
因为可以左右推拉 可以用于存储商铺商品

3 Hash类型

常用操作 hmset，hget，hset等

4 Set类型

常用操作sadd,smembers
可以用于推荐系统，共同好友交集

5 Sorted Set类型(按分值排序然后按照分母)

常用操作zadd zrangebyscore
用于排行榜，评论分页

6 HyperLogLog

一般用于存储地理位置Geo，每个key占空间很小

6.2 Redis持久化

快照(RDB)

特定时间的全量数据，加载快，容易丢失数据。

为什么RDB加载快，容易丢失数据？

因为比如数据999999999，在日志中占9个字节。但是快照下用bit存只占4个字节。
进行了字节压缩，所以二进制恢复速度快，但是bit也造成容易丢失

RDB文件配置

save 900 1
rdbcompression yes //开启压缩字节后才缓存
stop-writes-on-bgsave-error yes //可以开启bgsave

save：阻塞redis服务进程直到RDB被创建完毕
bgsave：fork出一个子进程来创建RDB，不阻塞服务器进程

日志(AOF)

倾向实时，记录完整，每个操作追加日志文件。
加载慢，有冗余，会拉低redis整体性能

AOF如何处理冗余？

通过bg rewrite aof指令进行数据重写整合，删除重复写入的操作

AOF如何具体重写处理冗余步骤？

1 主进程fork()出子进程
2 子进程把新的AOF文件写到临时文件，不依赖原来的主进程。
3 期间主进程会持续把新的变动写入内存和原来老AOF日志
4 主进程得到子进程重写AOF信号，也会往新AOF中添加
5 新AOF重写完毕，替换老AOF

Redis的选择

redis4.x版本之前 默认使用RDB快照，人工开启日志时，快照会失效。redis4.x版本之后 使用AOF混合模式。
快照bgsave做不实时的全量持久化，日志做近期指令的增量持久化

6.3 Redis相关问题

Redis内存压缩–缩减键值对象等

Redis的Sorted Set底层实现是跳表

Redis的过期处理

主动处理(每秒10次)1 从相关过期秘钥中（设置过过期时间并且已经过期的key）随机测试20个2 删除所有已经过期的key3 如果大于百分之25的测试key都已经过期，则重复步骤1被动处理访问key时，检查这个key是否过期，如果过期则删除RDB快照：过期的key不会持久化到快照中
AOF日志：遇到过期的key会追加一个DEL命令到日志文件中

回收策略

可在配置文件中设置内存回收策略，比如
LRU删除最远使用的key
LFU删除使用频率最小的key

海量数据key里查询某固定前缀key

使用 scan指令

Redis分布式锁

1 使用setnx锁
setnx有严重问题，在setnx拿到锁后，设置expire过期时间前，程序挂了，
锁就永远不会释放2 使用红锁
红锁原理顺序向所有节点请求加锁根据一定的超时时间来推断是不是跳过该节点一半以上节点加锁成功并且花费时间小于锁的有效期认定加锁成功

使用Redis做简单消息队列

redis提供发布和订阅功能
缺点：消息发布无状态，无法保证消息可达

Redis管道批量处理

可以减少redis每次连接时间。1000次hset会执行1000次连接和1000次执行时间。
用管道，每个管道执行100次。1000次hset会执行10次连接和1000次执行时间。

Reids 4大经典缓存问题

1 缓存穿透

发生场景：当redis和数据库都没有这个请求的数据方案1：缓存空对象
当redis和mysql都没有数据时候，给当前key加一个空value缓存。
缺点：太占空间方案2：布隆过滤器(空间小，有误判率，底层bit数组)
1 使用谷歌提供的布隆过滤器
缺点：位数组 int最大长度21亿有限制且只能单机用于JVM内存2 使用redis提供的布隆过滤器
由string二进制运算，最大长度42亿，第三方可以redis内存，可以分布式集群
缺点：redis自己维护，开发者无法删除

2 缓存击穿

发生场景：redis没有数据，但是数据库有数据。
上一秒缓存刚好过期，下一秒大量并发相同查询击穿数据库方案步骤
1 当1000个相同执行并发查询redis
2 添加redis锁，一个redis查并且加缓存如果mysql有数据，999个阻塞
3 再查询redis
4 查询mysql

3 雪崩

发生场景：redis大量数据同时丢失方案
高可用集群，过期时间错开

4 redis和mysql如何保证数据一致性

方案1：延迟双删rm_redisupdate_dbsleep xxx msrm_redis
方案2：串行化队列，异步处理使redis必须一个一个处理，保证每次处理数据都一定正确

6.4 Redis各种集群方案

想画图，图片一直上传不了，CSDN的程序员好倒闭了

AKF划分原理

x轴 redis横向主备全量同步
y轴 业务划分拆解 拆分秒杀系统，商品详情页等等
z轴 商品详情页同业务分治商品详情页1-10000数据一个10001-20000数据一个等等拆分拆分方式1 客户端实现2 代理实现3 集群技术4 根据路由算法克服代理瓶颈

并发很大情况下

1 单点故障(全量同步主备)命令行，配置文件，哨兵实现主从
2 性能瓶颈，压力大分片集群，分而治之

主从同步

1 命令行执行shaveof [ip] [port]
2 配置文件配置redis.conf中配置 slaveof [ip] [port] slave-read-only yes
3 哨兵实现主从

主从复制流程(异步复制)

从服务端通过psync命令发送主从已有的同步进度(同步源ID，同步进度offset)如果同步源ID一样，master没变动。则通过offset增量同步到从节点如果同步源ID不一样，master换了，则全量同步。删除旧数据，
主节点生成快照传到从节点，加载到从内存

哨兵实现主从(官方推荐1主2从，3哨兵)

哨兵机制分为三层

1 主从数据库层
2 哨兵集群层
3 客户端2-3层面通讯
当配置完哨兵后，客户端通过SENTINEL get-master-addr-by-name mymaster
指令，通过哨兵拿到数据。客户端只会和哨兵集群层交流，不再和数据库层面交流。	1-2层面通讯
哨兵保存主库信息，通过ping和主从数据层保持通讯。哨兵内部也集群，哨兵集体监控主从数据库
层每一个数据库，哨兵集体确认主从数据库保持通讯才算做主从数据库仍然存活。

哨兵配置文件 sentinel.conf

sentinel monitor mymaster [IP] [Port] 2 
mymaster [IP] [Port]为监控对象
2位 2个及以上哨兵认为死亡才算死亡

哨兵相关问题

哨兵如何拿到主从数据库层面信息？

哨兵conf文件保存主库信息，通过info命令，主从信息自动发现。

什么是主观下线？

哨兵ping未收到相应，会主观自身认为该数据库下线了

什么是客观下线？

达到配置数量的哨兵ping未回应，集体成功认为该数据库下线了

哨兵起初领导选举算法

raft算法，随机延迟拉票投出主从。
如果没有被拉过票则投票给他

中间主挂了，从中选主方案

1 看优先级
2 看数据同步情况
3 最小的run id

最终主从切换过程

1 即将变主 自动slaveof配置为no one
2 从节点自动配置 slaveof [master ip] [master port]

网络分区可能导致脑裂(网络分区产生多个主从)

解决方案
1 设置master最少从数量
2 设置从选主最大延迟时间
3 如果违背1，2，则主拒绝写请求

Redis分片集群

官方建议集群1000个实例，虽然理论可以16384个实例

1 Redis Sharding集群

原理：一致性哈希
(很重要，相关文章很多，百度搜搜吧，相关问题不难，略)

2 Redis Cluster集群

3.0版本后实现自动分片，貌似比Sharding好？不清楚，作为一个萌新不多评论。

原理：hash值%16384,使用哈希槽slot

实例启动

redis-cli工具创建集群
redis-cli -- cluster -create ip1:port1 ip2:port2 .... --cluster -replicas 1
replicas表示设置多少个副本，假设我们配置6个redis，replicas设为1
那么则会自动配置成3主，3从--cluster reshard 可以修改server区间段
--cluster check 可以检查集群信息

集群之间如何通讯？

每个节点有TCP端口与其他节点TCP端口连接，检测和故障转移和哨兵类似

ask和move重定向区别

1 如果redis不属于当前节点，redis返回moved
2 如果当前redis节点正处理slot槽迁移，则代表此处key暂时不在这里，返回ask，
告诉客户端请求重定向

对集群任何信息发布信息，都会在整个集群内部传播

数据倾斜问题

前期规划+后期reshard，slot槽也有自动rebalancereshard区间段，setslot迁移slot

在这个集群中，默认从节点处理读，所有写请求会重定向到主节点
也可以设置节点的可读，可写状态

主从之间存在数据不一致问题

监控问题

monitor命令，会下降百分之50性能，实时监控redis操作
info命令，会显示redis相关信息
也有相关redis监控软件下载