系统为 Redhat 7.4

数据库为 Redis 4.0.14

上节说了安装redis 5版本的集群

由于redis 3 和4的集群部署和5不一样,所以单独一篇文章

文章采用4的版本,理论上3也同样适用

如果安装3版本的集群,ruby的redis模块可能需要安装redis-3.0.7.gem

1. redis集群规划

节点编号 IP地址 端口 节点类型 配置文件
1 172.18.95.83 6379 /home/redis/cluster/6379/redis_6379.conf
2 172.18.95.84 6379 /home/redis/cluster/6379/redis_6379.conf
3 172.18.95.85 6379 /home/redis/cluster/6379/redis_6379.conf
4 172.18.95.83 6380 /home/redis/cluster/6380/redis_6380.conf
5 172.18.95.84 6380 /home/redis/cluster/6380/redis_6380.conf
6 172.18.95.85 6380 /home/redis/cluster/6380/redis_6380.conf
7 172.18.95.83 6381 /home/redis/cluster/6381/redis_6381.conf
8 172.18.95.84 6381 /home/redis/cluster/6381/redis_6381.conf
9 172.18.95.85 6381 /home/redis/cluster/6381/redis_6381.conf

2 安装redis软件

我们首先需要在三台服务器上安装redis以及ruby相关的包

所有安装包也可使用下面链接下载

链接:https://pan.baidu.com/s/1hoDE8WyVyjkc5uXn4uuqtQ 提取码:jce0

2.1 系统参数调整

在下载安装前需要对系统参数进行调优

http://www.zhaibibei.cn/redis/config/

2.2 Redis 4.0.14 下载

当前最新的版本为 6.0.5

这次我们使用4.0.14

http://download.redis.io/releases/redis-4.0.14.tar.gz

2.3 安装redis

yum -y install gcc
cd /tmp
tar zxvf redis-4.0.14.tar.gz -C /usr/local/
cd /usr/local
mv redis-4.0.14/   redis
cd redis/
make
make install

2.4 新建redis用户

useradd redis
echo "redis" |passwd redis --stdin

然后配置环境变量

vim /home/redis/.bash_profile
PATH=$PATH:$HOME/.local/bin:$HOME/bin:/usr/local/redis/src
export PATH

2.5.新建目录

三台机器

su - redis
mkdir -p /home/redis/cluster/6379
mkdir -p /home/redis/cluster/6380
mkdir -p /home/redis/cluster/6381

3. 安装ruby包

这里可以只安装在一台服务器上,但是推荐都安装

防止服务器宕机后其他服务器需要再安装

3.1 下载ruby包

这里还需要下载ruby相关的安装包

ruby安装包

https://www.ruby-lang.org/en/downloads/

https://cache.ruby-lang.org/pub/ruby/2.7/ruby-2.7.1.tar.gz

redis-gem包

https://rubygems.org/gems/redis/versions

https://rubygems.org/gems/redis/versions/4.2.1

3.2 编译安装ruby

mkdir -p /usr/share/ruby
cd /tmp
tar zxvf  ruby-2.7.1.tar.gz 
cd ruby-2.7.1/
./configure --prefix=/usr/share/ruby
make
make install 
cd ext/zlib/
/usr/share/ruby/bin/ruby ./extconf.rb
make
make install

验证是否安装成功

/usr/share/ruby/bin/ruby --version

3.3 安装redis的gem包

/usr/share/ruby/bin/gem install -l /tmp/redis-4.2.1.gem

3.4 修改redis的ruby脚本

redis安装后在src下面有redis-trib.rb脚本,需要修改首行的内容

将#!/usr/bin/env ruby 修改为 #!/usr/share/ruby/bin/ruby

cp /usr/local/redis/src/redis-trib.rb /usr/local/redis/src/redis-trib.rb.bak

vim /usr/local/redis/src/redis-trib.rb

若redis配置了密码还需要修改一个文件

 vi /usr/share/ruby/lib/ruby/gems/2.7.0/gems/redis-4.2.1/lib/redis/client.rb

将password设为"123456"

Image.png

4.集群配置文件

接下来我们分别在/home/redis/cluster目录下建立哨兵配置文件(共9个)

这里以节点1为例,其他节点参考

其实只是比单机的配置文件多了一些集群相关的配置

节点1

$ cat /home/redis/cluster/6379/redis_6379.conf


daemonize yes
bind 172.18.95.83 
port 6379
tcp-backlog 1024
timeout 300
tcp-keepalive 300
databases 16
requirepass 123456
masterauth 123456

cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file nodes-6379.conf



pidfile "/home/redis/cluster/6379/redis_6379.pid"

loglevel notice
logfile "/home/redis/cluster/6379/redis_6379.log"

dir "/home/redis/cluster/6379"

dbfilename "dump.rdb"
stop-writes-on-bgsave-error no
rdbcompression yes
rdbchecksum yes

appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
aof-load-truncated yes
no-appendfsync-on-rewrite no
aof-rewrite-incremental-fsync yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 32mb

maxclients 65503
maxmemory 1gb
maxmemory-policy allkeys-lru

# replication
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
repl-backlog-size 32mb

# slow log
slowlog-log-slower-than 10000
slowlog-max-len 1024

hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 512mb 512mb 60
client-output-buffer-limit pubsub 64mb 16mb 60

protected-mode yes

# security
rename-command FLUSHALL ""
rename-command FLUSHDB ""
rename-command KEYS ""

上面参数我们需要根据实际情况修改一些参数 - bind 172.18.95.84 127.0.0.1 监听地址,第一个使用本机IP地址 - port 6379 监听端口 - maxmemory redis允许使用的最大内存,根据服务器配置和业务需求决定 - requirepass 123456 redis密码,可以注释掉表示不设置 - masterauth 123456 连接master时用的密码,如master未设置可注释掉 - 还需要根据实际修改配置文件和日志文件的路径和名称

5.启动redis

接下来我们启动所有9个redis节点

启动redis

su - redis
172.18.95.83 
/usr/local/bin/redis-server /home/redis/cluster/6379/redis_6379.conf
/usr/local/bin/redis-server /home/redis/cluster/6380/redis_6380.conf
/usr/local/bin/redis-server /home/redis/cluster/6381/redis_6381.conf
172.18.95.84 
/usr/local/bin/redis-server /home/redis/cluster/6379/redis_6379.conf
/usr/local/bin/redis-server /home/redis/cluster/6380/redis_6380.conf
/usr/local/bin/redis-server /home/redis/cluster/6381/redis_6381.conf
172.18.95.85
/usr/local/bin/redis-server /home/redis/cluster/6379/redis_6379.conf /usr/local/bin/redis-server /home/redis/cluster/6380/redis_6380.conf
/usr/local/bin/redis-server /home/redis/cluster/6381/redis_6381.conf

这时我们查看集群状态发现是fail的,而且没有其他节点的信息

Image_2.png

集群文件也只有一个节点的信息

[redis@SYTEST1 6379]$ more nodes-6379.conf 
9a74ab968c706a36d7a44427a45e4c151a8bfa63 :0@0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0

同时集群也是不能写入的

172.18.95.83:6379> set hello world
(error) CLUSTERDOWN Hash slot not served
172.18.95.83:6379> 

6. 搭建集群

接下来我们来搭建集群

除了手动搭建,我们这里使用命令来自动化安装

到了5的版本,该功能已经集成到redis-cli命令中

但是redis 3和4的版本需要使用ruby脚本来完成自动化安装,

我们输入如下命令完成搭建

这里我们将6379的端口写在最前面

安装有ruby的一个节点

/usr/local/redis/src/redis-trib.rb create --replicas 2 172.18.95.83:6379 172.18.95.84:6379 172.18.95.85:6379 172.18.95.83:6380 172.18.95.84:6380 172.18.95.85:6380 172.18.95.83:6381 172.18.95.84:6381 172.18.95.85:6381
Image_3.png

这里填入yes

可以看到该命令已经将从节点分配在不同节点上了,并且6379端口为主节点

最后完成了搭建并打印结果

Image_4.png

对于集群我们只要保证主节点不在同一服务器并且主从节点不在同一个服务器就可以了,如果需要固定的主从关系,请使用后面的命令来改变关系

7.连接redis集群

我们使用如下命令来连接集群,可选择任一节点

[redis@SYTEST1 6379]$ redis-cli -h 172.18.95.83 -p 6379 -a 123456 -c

这里必须加入-c参数,否则如果操作的key的slot值不在该节点会导致命令执行失败

8.查询集群信息

查询节点信息

cluster nodes
Image_5.png

查询slot信息

该命令可以更直观的查看集群的架构

cluster slots
Image_6.png

查询集群状态

cluster info
Image_7.png

手动failover

有时集群宕机重启后可能会导致主备节点在同一台机器上,这时需要手动指定一个从节点成为主节点

从节点#172.18.95.83:6380> cluster failover

重新指定主库

我们同样可以手动指定从节点同步哪个主节点

后面跟的是主节点的node id

从节点># 172.18.95.85:6380> cluster replicate 2fb4d5cf998a562e1391c082eb34a1476c8f620f