Redis——集群搭建_虚拟机搭建redis集群-程序员宅基地

技术标签: java  数据库  redis  

一、开启redis

我们日常不使用docker来部署redis集群,基本上都是直接使用redis启动,是在redis的文件里面进行

 但是,如果像在任意位置能执行redis-server的话,需要配置环境变量。

 

回归正题,我们需要搭建一个集群,我们先在虚拟机上面进行。

这个前提里面我们已经把redis.conf复制了三份数据分别放在7001,7002,7003里面去.

首先我们在虚拟机上三个redis的开启。分别对应的端口号为7001,7002,7003。

其次,我们需要在redis.conf文件里面添加replica-announce-ip参数.作用其实就是为了确保在这些redis从节点能在集群里面进行发布自己的ip地址.

直接添加第一行数据。

此时这里已经对redis的集群基本配置已经配置完毕,我们来尝试一下连接!

发现连接不上!

第一种情况:虚拟机的防火墙没有关闭。

第二种情况:bind没有进行注释掉,并且还没有关闭保护模式。(原来是因为配置文件中的bind没有进行注释。其实bind指向127.0.0.1其实也就是只允许虚拟机本机通过回环地址来连接redis。我们来进行修改。)

注释掉bind
保护模式需要关闭(no)

 然后就可以正常连接上了。

二、主从关系部署

添加:

第一种:配置文件

在配置文件里面添加一行配置 slaveof <masterip><masterport>.在这样就去确定当前redis的主是那一个。这里填上ip地址,以及端口。

配置文件的任意地方放入
第二种:redis服务上

redis服务里面执行 slaveof <masterip><masterport>.命令。

判断:

验证是否已经建立好主从关系。直接在主的服务里面执行info replication来查看

读写分离:

而主从关系我们看这样图:

我们可以清晰的了解到,redis集群默认是主节点读写都可以的操作,从节点只做读的操作。

标题

那主从数据如何进行同步的咧?

分两种情况:

(1)全量同步(基于RDB文件来进行):

主要发生在第一次连接的时候,执行全量同步把master的所有数据拷贝给slave节点。

判断是否第一次同步:

通过Replication ID

简称:replid,数据集的标记,每一个master都有一个唯一的replid(并且slave本质上也是一个master,也会有自己的replid),当slave连接上后,master会发现slave的replid与其不相同,所以就判断为是第一次同步,就会做全量同步。之后slave就会继承master的id值。

(1)增量同步(通过repl_backlog):

通过replid我们可以判断得出是否进行全量同步,那增量同步就通过repl_backlog来进行的。

offset

偏移量,随着记录命令日志增多而逐渐增大。其实我可以理解为就是做数据的记录备份。

repl_backlog:

偏移固定大少的环型数组,也就是角标达到数组末尾,这个数据就会进行数据覆盖。

开始记录
中途
被填满

这个环里面记录的数据有命令日志数据,以及对应的偏移量。

当出项slave出现了网络阻塞时,master的命令日志数据以及偏移量远远超过slave时。

slave阻塞​​​​
master的offset覆盖slave没有同步的offset

 此时被框选的部分的slave未同步的偏移量就会被更新掉,然后slave就会发现自己的offset没有了。无法完成增量同步,就到最后只能进行全量同步了。

三、哨兵(sentinel)机制

哨兵作用:

监控:sentinel会不断的检查redis的主从节点是否正常运作。

自动故障恢复:也就是当redis的主节点故障之后,会迅速安排一个从节点接上。

通知:也就是告诉redis从节点,主节点故障了。

监控的原理:类似微服务一样,基于心跳机制来进行监控,sentinel每一秒会对所有节点进行一个ping命令来确保节点是否存货

(1)主观下线:也就是某个sentinel在1s里面发送的ping没有在规定时间内响应,就为主观下线。

(2)客观下线:主要用于集群,也就是集群里面当quorum个sentinel都认为该主节点没有响应,就为客观下线。

其实也就是结合微服务里面的sentinel来对redis进行一个集群管控操作。首先sentinel我们都知道使用来做微服务保护的。来对微服务进行限流访问以及熔断机制的。

但是我们回想一个点,假设单节点的sentinel挂掉之后,对一个的sentinel对微服务的保护机制就没有了。所以我们要搭建sentinel的时候需要进行集群搭建。当然单节点的sentinel也可以,但是不安全!

并且!!!redis里面是有sentinel的!也就是内置了sentinel!所以我们是不需要在外置开启sentinel的。只需要使用redis-sentinel命令就可调用redis里面的sentinel!

注意的是:redis集群一定要一直开着。这个redis-sentinel是用来监控redis的。

我们只需要写好sentinel配置文件即可:

端口要写不同的端口。

 然后通过使用命令来根据每个配置文件来以哨兵模式来启动。

假设我们把7001的redis给宕机了,看一下27001也就是sentinel的日志信息。

此时对应的7003与7002也有有日子信息的导入。

在spring中如何配置根据哨兵机制来进行读写分离咧?

我们都知道spring-redis提供了一个redisTemplate的封装类。我们只需要调整application.yml文件里面redis的连接端口就可以使用redisTemplate来发送数据到redis里面去。如果要做读写分离的话,我们此时在application.yml文件里面配置上这样:

其实就是基于sentinel来进行读写分离

 而RedisTemplate的底层是利用lettuce实现了节点的感知和自动切换。

此时如果我们需要对其进行读写分离的话,就需要重写lettuce类,并且把其放入到spring容器里面去。

四、分片集群(redis-cli --cluster)

主从结构是为了进行读写分离,而哨兵机制,是为了在主从结构的基础上预防主节点丢失的一个保护机制。而这两个围绕着都是一个主节点(master),多个从节点(slave)

那如果当有大量的数据要进行写入,单个master是无法支持得到,所以对数据进行一个分类!把不同的数据分到不同的master上面进行管理,此时就需要使用到分片集群。

(通俗易懂来说,就是要有多个主节点,实现数据分区。)

首先,开启集群的前提那肯定是开启redis,而开启集群的话,只需要在redis的配置文件上,添加开启集群功能,以及进群的心跳检查。

红框外的就与之前redis.conf配置是一致的。

 用对应的配置文件进行开启。因为daemonize为yes,也就是后台运行,此时我们想知道redis是否全部开启。使用查看进程命令。

 注意:现在只是开启了redis服务,并没有形成分片集群,要形成分片集群,就需要进行一下操作。

我们使用的redis是6.2.6版本的redis,对应redis5.0之后,集群管理已经集成到了redis-cli命令里面去了。

--cluster:代表使用集群操作命令。

create:创建集群。

 --replicas 1:也就是设置replicas=1提供的端口的节点总数的基础上/(replicas+1),此时有6的接口,除以2对应就是有3个主节点。

我们可以通过这个图,可以看到slots就是redis把主节点分配的插槽位置。

查看集群状态:

redis-cli -p 集群任意端口 cluster nodes

 此时如果要在redis里面存放数据的时候,之前是通过redis-cli -p 端口。然后直接把set放入进去。

当时因为现在是以集群形式。所以对应的数据会分区来进行输入。redis会通过存入的数据进行一个转化,转化为插槽对应的数值。

所以我们之后要通过redis-cli -p -c 端口,来进入redis服务。

 redis分片集群是按什么来进行插槽注入的?

redis会根据key的CRC16算法得出一个哈希值,然后对16384进行取余,这样的话就会得到slot也就是插槽值。但是需要留意一个点。

 也就是key={itcast}num的时候计算的就是{}里面的itcast的哈希值。

集群伸缩:

假设中途需要添加新的节点到集群里面:

一、加入节点

(1)先启动节点(根据集群部署的配置文件来进行部署)

新键的redis节点7004

 开启:

(2)使用redis-cli 里面的命令 --cluster  的添加节点的命令(add-node)

此时我们在查看一下对应集群里面的信息。cluster nodes

7004的插槽范围是为0!所以此时7004是无法用来存储信息的!

二、分配插槽:

(1).通过命令redis-cli的--cluster 里面的reshard 端口。这里的重点是找到当前端口对应的集群。而并不是对某个节点进行插槽拆分。reshard

(2)确定这3000个插槽是给那个节点使用的。

(3)决定用什么方式来抽取这3000个插槽出来:

从所有节点中各转移一部分插槽。

通过节点id来转移插槽

 我们现在来看一下转移后对应的插槽范围值:

 我们用的方法是all,所以此时会发现,插槽分了三个部分。分别都是原本7001,7002,7003里面的插槽!

故障转移:

我们现在需要假设一个点:也就是我们之前都是通过哨兵机制来进行主节点故障之后,让从节点代替的,那分片集群式假设也出现这种情况的时候,那分片集群式如何解决的咧?

自动故障转移:

也就是分片集群会自动进行主节点的替换。当我们把7002的进程杀掉后,也就是让7002这个redis服务宕机!

未杀7002进程前

杀掉7002进程后

手动故障转移:

假设,我现在7002的端口又重新启动的。但是我又想让其变会主节点。此时就需要进行手动调试。

 工作原理就是进入7002服务器里面,执行cluster failover(故障转移)命令。

此时7002就恢复主节点,8002就恢复为从节点! 

而spring-redis如何进行分片集群整合,与哨兵机制一样。

(1)注入spring-redis的依赖

(2)编写读写分离策略的bean!(一模一样的)

(3)application.yml文件的编写(差异点)

课外拓展:

我们可以使用docker来部署redis,重点来了,如果我们没有给其设置配置文件,会按redis内部里面执行配置文件,以6379为端口,无法去修改,这个与mysql不同,mysql是可以去对默认的配置文件进行替换的。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_54406708/article/details/131771361

智能推荐

JWT(Json Web Token)实现无状态登录_无状态token登录-程序员宅基地

文章浏览阅读685次。1.1.什么是有状态?有状态服务,即服务端需要记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行请求的处理,典型的设计如tomcat中的session。例如登录:用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。缺点是什么?服务端保存大量数据,增加服务端压力 服务端保存用户状态,无法进行水平扩展 客户端请求依赖服务.._无状态token登录

SDUT OJ逆置正整数-程序员宅基地

文章浏览阅读293次。SDUT OnlineJudge#include<iostream>using namespace std;int main(){int a,b,c,d;cin>>a;b=a%10;c=a/10%10;d=a/100%10;int key[3];key[0]=b;key[1]=c;key[2]=d;for(int i = 0;i<3;i++){ if(key[i]!=0) { cout<<key[i.

年终奖盲区_年终奖盲区表-程序员宅基地

文章浏览阅读2.2k次。年终奖采用的平均每月的收入来评定缴税级数的,速算扣除数也按照月份计算出来,但是最终减去的也是一个月的速算扣除数。为什么这么做呢,这样的收的税更多啊,年终也是一个月的收入,凭什么减去12*速算扣除数了?这个霸道(不要脸)的说法,我们只能合理避免的这些跨级的区域了,那具体是那些区域呢?可以参考下面的表格:年终奖一列标红的一对便是盲区的上下线,发放年终奖的数额一定一定要避免这个区域,不然公司多花了钱..._年终奖盲区表

matlab 提取struct结构体中某个字段所有变量的值_matlab读取struct类型数据中的值-程序员宅基地

文章浏览阅读7.5k次,点赞5次,收藏19次。matlab结构体struct字段变量值提取_matlab读取struct类型数据中的值

Android fragment的用法_android reader fragment-程序员宅基地

文章浏览阅读4.8k次。1,什么情况下使用fragment通常用来作为一个activity的用户界面的一部分例如, 一个新闻应用可以在屏幕左侧使用一个fragment来展示一个文章的列表,然后在屏幕右侧使用另一个fragment来展示一篇文章 – 2个fragment并排显示在相同的一个activity中,并且每一个fragment拥有它自己的一套生命周期回调方法,并且处理它们自己的用户输_android reader fragment

FFT of waveIn audio signals-程序员宅基地

文章浏览阅读2.8k次。FFT of waveIn audio signalsBy Aqiruse An article on using the Fast Fourier Transform on audio signals. IntroductionThe Fast Fourier Transform (FFT) allows users to view the spectrum content of _fft of wavein audio signals

随便推点

Awesome Mac:收集的非常全面好用的Mac应用程序、软件以及工具_awesomemac-程序员宅基地

文章浏览阅读5.9k次。https://jaywcjlove.github.io/awesome-mac/ 这个仓库主要是收集非常好用的Mac应用程序、软件以及工具,主要面向开发者和设计师。有这个想法是因为我最近发了一篇较为火爆的涨粉儿微信公众号文章《工具武装的前端开发工程师》,于是建了这么一个仓库,持续更新作为补充,搜集更多好用的软件工具。请Star、Pull Request或者使劲搓它 issu_awesomemac

java前端技术---jquery基础详解_简介java中jquery技术-程序员宅基地

文章浏览阅读616次。一.jquery简介 jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTML documents、events、实现动画效果,并且方便地为网站提供AJAX交互 jQuery 的功能概括1、html 的元素选取2、html的元素操作3、html dom遍历和修改4、js特效和动画效果5、css操作6、html事件操作7、ajax_简介java中jquery技术

Ant Design Table换滚动条的样式_ant design ::-webkit-scrollbar-corner-程序员宅基地

文章浏览阅读1.6w次,点赞5次,收藏19次。我修改的是表格的固定列滚动而产生的滚动条引用Table的组件的css文件中加入下面的样式:.ant-table-body{ &amp;amp;::-webkit-scrollbar { height: 5px; } &amp;amp;::-webkit-scrollbar-thumb { border-radius: 5px; -webkit-box..._ant design ::-webkit-scrollbar-corner

javaWeb毕设分享 健身俱乐部会员管理系统【源码+论文】-程序员宅基地

文章浏览阅读269次。基于JSP的健身俱乐部会员管理系统项目分享:见文末!

论文开题报告怎么写?_开题报告研究难点-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏15次。同学们,是不是又到了一年一度写开题报告的时候呀?是不是还在为不知道论文的开题报告怎么写而苦恼?Take it easy!我带着倾尽我所有开题报告写作经验总结出来的最强保姆级开题报告解说来啦,一定让你脱胎换骨,顺利拿下开题报告这个高塔,你确定还不赶快点赞收藏学起来吗?_开题报告研究难点

原生JS 与 VUE获取父级、子级、兄弟节点的方法 及一些DOM对象的获取_获取子节点的路径 vue-程序员宅基地

文章浏览阅读6k次,点赞4次,收藏17次。原生先获取对象var a = document.getElementById("dom");vue先添加ref <div class="" ref="divBox">获取对象let a = this.$refs.divBox获取父、子、兄弟节点方法var b = a.childNodes; 获取a的全部子节点 var c = a.parentNode; 获取a的父节点var d = a.nextSbiling; 获取a的下一个兄弟节点 var e = a.previ_获取子节点的路径 vue