## 前期回顾 前面我们介绍了MySQL Galera的相关内容 这期开始讲一个数据库分库分表中间件Mycat 该专题的理论内容我会参考官方的文档,最后实践部分会根据自己的环境 上节说了一些Mycat的一些概念 这节的内容为有关全局序列号的内容 ## 1. 全局序列号方式 在实现分库分表的情况下,表会被分到多个数据库中,这时自增主键已无法保证自增主键的全局唯一。 为此,MyCat提供了全局sequence来解决这个问题,实现表自增主键的全局唯一 并且提供了包含本地配置和数据库配置等多种实现方式。 ### 1.1 本地文件方式 #### 原理 此方式 MyCAT 将 sequence 配置到文件中,当使用到 sequence 中的配置后,MyCAT会更新classpath中的 sequence_conf.properties文件中sequence 当前的值。 #### 配置方式 **1.** 在 **sequence_conf.properties** 文件中做如下配置: ``` GLOBAL_SEQ.HISIDS= GLOBAL_SEQ.MINID=1001 GLOBAL_SEQ.MAXID=1000000000 GLOBAL_SEQ.CURID=1000 ``` 其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID 表示最小 ID 值,MAXID 表示最大 ID 值,CURID 表示当前 ID 值。 GLOBAL代表默认全局序列号的名称 我们同样可以自定义,如 [image:794 size:orig] 一般我们以需要用到全局序列号的表名来命名 如COMPANY表需要用到全局序列号,我们定义COMPANY.HISIDS等 **2.** server.xml中配置: <system><property name="sequnceHandlerType">0</property></system> 注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。 #### 使用示例 ``` insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’); ``` MYCATSEQ_GLOBAL为固定格式,MYCATSEQ必须大写,GLOBAL为全局序列号的名称 #### 优缺点 **缺点** 当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值。 **优点** 本地加载,读取速度较快。 ### 1.2 数据库方式 #### 原理 在数据库中建立一张表,存放全局序列号相关内容 - equence名称(name) - sequence当前值(current_value) - 步长(increment int 类型每次读取多少个sequence) #### Sequence 获取步骤 1. 当初次使用该sequence时,根据传入的sequence名称,从数据库这张表中读取current_value,和increment到MyCat中,并将数据库中的current_value设置为原current_value值+increment值; 2. MyCat将读取到current_value+increment作为本次要使用的sequence值,下次使用时,自动加1,当使用increment次后,执行步骤1相同的操作. 3. MyCat负责维护这张表,用到哪些sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence没有用完,系统就停掉了,则这次读取的sequence剩余值不会再使用。 #### 配置方式 **1.** server.xml中配置: ``` <system><property name="sequnceHandlerType">1</property></system> ``` 注:sequnceHandlerType 需要配置为 1,表示使用数据库方式生成 sequence。 **2.** 数据库中配置 我们假设将该表建立在dn1节点,关于数据节点(DN)可以看前面的内容,在这里指的是某台物理的MySQL实例 注意:MYCAT_SEQUENCE 表和下面的3个function,需要放在同一个数据节点上。 建议专门独立一个数据库,存放sequence表和相关的function,方便维护管理和隔离。 **首先**在dn1中创建表 ``` CREATE TABLE MYCAT_SEQUENCE ( name VARCHAR (50) NOT NULL comment "名称", current_value INT NOT NULL comment "当前值", increment INT NOT NULL DEFAULT 100 comment "步长", PRIMARY KEY (name) ) ENGINE = INNODB; ``` - name sequence 名称 - current_value 当前value - increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数 据库中读取。 之后插入一条sequence ``` INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 0, 100); ``` 这里创建了一条名为GLOBAL的sequence,如果有名为COMPANY表需要全局序列号,则名称需要为COMPANY **其次**,我们创建相关函数 获取当前 sequence 的值 (返回当前值,增量) ``` DROP FUNCTION IF EXISTS mycat_seq_currval; DELIMITER $$ CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8' DETERMINISTIC BEGIN DECLARE retval VARCHAR(64); SET retval='-999999999,NULL'; SELECT CONCAT(CAST(current_value AS CHAR),',',CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE NAME = seq_name; RETURN retval; END$$ DELIMITER ; ``` **设置 sequence 值** ``` DROP FUNCTION IF EXISTS mycat_seq_setval; DELIMITER $$ CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS VARCHAR(64) CHARSET 'utf8' BEGIN UPDATE MYCAT_SEQUENCE SET current_value = VALUE WHERE NAME = seq_name; RETURN mycat_seq_currval(seq_name); END$$ DELIMITER ; ``` **取下一个sequence的值** ``` DROP FUNCTION IF EXISTS mycat_seq_nextval; DELIMITER $$ CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8' BEGIN UPDATE MYCAT_SEQUENCE SET current_value = current_value + increment WHERE NAME = seq_name; RETURN mycat_seq_currval(seq_name); END$$ DELIMITER ; ``` **3.** 指定sequence在哪个节点 sequence_db_conf.properties中指定 sequence相关配置在哪个节点上 ``` GLOBAL=dn1 ``` [image:795 size:orig] #### 使用示例: ``` insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test'); ``` 这里同样需要有MYCATSEQ_的前缀 ### 1.3 其他方式 mycat还提供了其他的方式,如 - 本地时间戳方式 - 分布式 ZK ID 生成器 - Zk 递增方式 - 使用 catelet 注解方式 - 利用 zookeeper 方式实现 这里就不一一解释了,后面的实验会以第二种方式进行 ## 3. 自增长主键使用 上面说了一些全局序列号的获取方式,这里我们说明如何在mycat中使用 全局序列号主要用在自增主键中,一般为具有AUTO_INCREMENT属性的id列 ### 3.1 建立使用全局序列号的表 **所有dn** ``` DROP TABLE IF EXISTS `company`; CREATE TABLE `company` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ``` 注意:需要在创建表的时候指定AUTO_INCREMENT属性 ### 3.2 创建全局序列号表和相关函数 这里具体见1.2节的数据库配置,即在dn1中建立 - MYCAT_SEQUENCE表 - mycat_seq_currval - mycat_seq_setval - mycat_seq_nextval ### 3.3 新增全局序列号 插入数据到MYCAT_SEQUENCE表 ``` insert into MYCAT_SEQUENCE(name,current_value,increment) values('COMPANY',19,5); ``` 这里插入了一个名为COMPANY的全局序列号 ### 3.4 指定sequence在哪个节点 sequence_db_conf.properties中配置 ``` COMPANY=dn1 ``` ### 3.5 测试插入 我们通过mycat连接数据库后执行 ``` insert into company(id,name) values (next value for MYCATSEQ_COMPANY,"test") ``` 或 ``` insert into company(name) values ("test") ``` 之后执行如下命令查看本次插入的id ``` select LAST_INSERT_ID() ``` ## 4. 错误处理 如果在建立函数时报如下错误 ``` you might want to use the less safe log_bin_trust_function_creators variable ``` 需要对数据库做如下设置: ``` set global log_bin_trust_function_creators=1 ; ``` 如需永久生效,需要在配置文件中新增改行 ## 5. 参考资料 [http://www.mycat.io/document/mycat-definitive-guide.pdf](http://www.mycat.io/document/mycat-definitive-guide.pdf) [https://blog.csdn.net/u010956470/article/details/70837876](https://blog.csdn.net/u010956470/article/details/70837876)