6. Mycat分库分表全解析 Part 6 Mycat 全局序列号

前期回顾

前面我们介绍了MySQL Galera的相关内容

这期开始讲一个数据库分库分表中间件Mycat

该专题的理论内容我会参考官方的文档，最后实践部分会根据自己的环境

上节说了一些Mycat的一些概念

这节的内容为有关全局序列号的内容

1. 全局序列号方式

在实现分库分表的情况下，表会被分到多个数据库中，这时自增主键已无法保证自增主键的全局唯一。

为此，MyCat提供了全局sequence来解决这个问题，实现表自增主键的全局唯一

并且提供了包含本地配置和数据库配置等多种实现方式。

1.1 本地文件方式

原理

此方式 MyCAT 将 sequence 配置到文件中，当使用到 sequence 中的配置后，MyCAT会更新classpath中的 sequence_conf.properties文件中sequence 当前的值。

配置方式

1. 在 sequence_conf.properties 文件中做如下配置：

GLOBAL_SEQ.HISIDS= 
GLOBAL_SEQ.MINID=1001 
GLOBAL_SEQ.MAXID=1000000000 
GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置)，MINID 表示最小 ID 值，MAXID 表示最大 ID 值，CURID 表示当前 ID 值。

GLOBAL代表默认全局序列号的名称

我们同样可以自定义，如

一般我们以需要用到全局序列号的表名来命名

如COMPANY表需要用到全局序列号，我们定义COMPANY.HISIDS等

2. server.xml中配置：

注：sequnceHandlerType 需要配置为 0，表示使用本地文件方式。

使用示例

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);

MYCATSEQ_GLOBAL为固定格式，MYCATSEQ必须大写，GLOBAL为全局序列号的名称

优缺点

缺点

当 MyCAT 重新发布后，配置文件中的 sequence 会恢复到初始值。

优点

本地加载，读取速度较快。

1.2 数据库方式

原理

在数据库中建立一张表，存放全局序列号相关内容

equence名称(name)
sequence当前值(current_value)
步长(increment int 类型每次读取多少个sequence)

Sequence 获取步骤

当初次使用该sequence时，根据传入的sequence名称，从数据库这张表中读取current_value，和increment到MyCat中，并将数据库中的current_value设置为原current_value值+increment值；
MyCat将读取到current_value+increment作为本次要使用的sequence值，下次使用时，自动加1，当使用increment次后，执行步骤1相同的操作.
MyCat负责维护这张表,用到哪些sequence，只需要在这张表中插入一条记录即可。若某次读取的sequence没有用完，系统就停掉了，则这次读取的sequence剩余值不会再使用。

配置方式

1. server.xml中配置：

<system><property name="sequnceHandlerType">1</property></system>

注：sequnceHandlerType 需要配置为 1，表示使用数据库方式生成 sequence。

2. 数据库中配置

我们假设将该表建立在dn1节点，关于数据节点(DN)可以看前面的内容，在这里指的是某台物理的MySQL实例

注意：MYCAT_SEQUENCE 表和下面的3个function，需要放在同一个数据节点上。

建议专门独立一个数据库，存放sequence表和相关的function，方便维护管理和隔离。

首先在dn1中创建表

 CREATE TABLE MYCAT_SEQUENCE (
   name VARCHAR (50) NOT NULL comment  "名称",
   current_value INT NOT NULL  comment  "当前值",
   increment INT NOT NULL DEFAULT 100  comment  "步长",
   PRIMARY KEY (name)
) ENGINE = INNODB;

name sequence 名称
current_value 当前value
increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数据库中读取。

之后插入一条sequence

INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 0, 100);

这里创建了一条名为GLOBAL的sequence，如果有名为COMPANY表需要全局序列号，则名称需要为COMPANY

其次，我们创建相关函数

获取当前 sequence 的值 (返回当前值,增量)

DROP FUNCTION IF EXISTS mycat_seq_currval;
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8'
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval='-999999999,NULL';
SELECT CONCAT(CAST(current_value AS CHAR),',',CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END$$
DELIMITER ;

设置 sequence 值

DROP FUNCTION IF EXISTS mycat_seq_setval;
DELIMITER $$
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS VARCHAR(64) CHARSET 'utf8'
BEGIN
   UPDATE MYCAT_SEQUENCE SET current_value = VALUE    WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END$$
DELIMITER ;

取下一个sequence的值

DROP FUNCTION IF EXISTS mycat_seq_nextval;
DELIMITER $$
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8'
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = current_value + increment 
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END$$
DELIMITER ;

3. 指定sequence在哪个节点

sequence_db_conf.properties中指定 sequence相关配置在哪个节点上

GLOBAL=dn1

使用示例：

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test');

这里同样需要有MYCATSEQ_的前缀

1.3 其他方式

mycat还提供了其他的方式，如

本地时间戳方式
分布式 ZK ID 生成器
Zk 递增方式
使用 catelet 注解方式
利用 zookeeper 方式实现

这里就不一一解释了，后面的实验会以第二种方式进行

3. 自增长主键使用

上面说了一些全局序列号的获取方式，这里我们说明如何在mycat中使用

全局序列号主要用在自增主键中，一般为具有AUTO_INCREMENT属性的id列

3.1 建立使用全局序列号的表

所有dn

DROP TABLE IF EXISTS `company`;
CREATE TABLE `company` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

注意：需要在创建表的时候指定AUTO_INCREMENT属性

3.2 创建全局序列号表和相关函数

这里具体见1.2节的数据库配置，即在dn1中建立

MYCAT_SEQUENCE表
mycat_seq_currval
mycat_seq_setval
mycat_seq_nextval

3.3 新增全局序列号

插入数据到MYCAT_SEQUENCE表

insert into MYCAT_SEQUENCE(name,current_value,increment) values('COMPANY',19,5);

这里插入了一个名为COMPANY的全局序列号

3.4 指定sequence在哪个节点

sequence_db_conf.properties中配置

COMPANY=dn1

3.5 测试插入

我们通过mycat连接数据库后执行

insert into company(id,name) values (next value for MYCATSEQ_COMPANY,"test")

或

insert into company(name) values ("test")

之后执行如下命令查看本次插入的id

select LAST_INSERT_ID()

4. 错误处理

如果在建立函数时报如下错误

you might want to use the less safe log_bin_trust_function_creators variable

需要对数据库做如下设置：

set global log_bin_trust_function_creators=1 ;

如需永久生效，需要在配置文件中新增改行

5. 参考资料

http://www.mycat.io/document/mycat-definitive-guide.pdf

https://blog.csdn.net/u010956470/article/details/70837876

6. Mycat分库分表全解析 Part 6 Mycat 全局序列号 tutorial6

前期回顾

1. 全局序列号方式

1.1 本地文件方式

原理

配置方式

使用示例

优缺点

1.2 数据库方式

原理

Sequence 获取步骤

配置方式

使用示例：

1.3 其他方式

3. 自增长主键使用

3.1 建立使用全局序列号的表

3.2 创建全局序列号表和相关函数

3.3 新增全局序列号

3.4 指定sequence在哪个节点

3.5 测试插入

4. 错误处理

5. 参考资料