在上篇文章已经详细说明了MySQL Cluster搭建与测试,现在来说说详细的配置参数。在MySQL Cluster 环境的配置文件 config.ini 里面,每一类节点都有两个(或以上)的相应配置项组,每一类节点的配置项都主要由两部分组成,一部分是同类所有节点相同的配置项组,在[NDB_MGM DEFAULT]、[NDBD DEFAULT]和[MySQLD DEFAULT]这三个配置组里面,而且每一个配置组只出现一次;而另外一部分则是针对每一个节点独有配置内容的配置项组[NDB_MGM]、[NDBD]和[MySQLD],由于这三类配置组中配置的每一个节点独有的个性化配置,所以每一个配置组都能出现多次(每一个节点一次)。下面是每一类节点的各种配置说明:
1、管理节点相关配置
在整个MySQL Cluster 环境中,管理节点相关的配置为[NDBD_MGM DEFAULT]和[NDB_MGMD]相关的两组:
1) [NDB_MGMD DEFAULT]中各管理节点的共用配置项:
PortNumber:配置管理节点的服务端程序(ndb_mgmd)监听客户端(ndb_mgm)连接请求和发送的指令,从文档上可以查找到,默认端口是1186端口。一般来说这一项不需要更改,当然如果是为了在同一台主机上面启动多个管理节点的话,肯定需要将两个管理节点启动不同的监听端口;
LogDestination:配置管理节点上面的 cluster 日志处理方式。
a) 可以写入文件如:LogDestination=FILE:filename=mycluster.log,maxsize=500000,maxfiles=4;
b) 也可以通过标准输出来打印出来如:LogDestination=CONSOLE;
c) 还可以计入 syslog 里面如:LogDestination=SYSLOG:facility=syslog ;
d) 甚至多种方式共存:
LogDestination=CONSOLE;SYSLOG:facility=syslog;FILE:filename=/var/log/clusterlog
Datadir:设置用于管理节点存放文件输出的位置。如 process 文 件(.pid),clusterlog 文件(当LogDestination 有FILE处理方式存在时候)。
ArbitrationRank:配置各节点在处理某些事件出现分歧的时候的级别。有 0,1,2三个值可以选择。
a) 0 代表本节点完全听其他节点的,不参与决策
b) 1 代表本节点有最高优先权,“一切由我来决策”
c) 2 代表本节点参与决策,但是优先权较1低,但是比0高
ArbitrationRank 参数不仅仅管理节点有,MySQL节点也有。而且一般来说,所有的管理节点一般都应该设置成1,所有SQL节点都设置成2。
2) [NDB_MGMD]是每个管理节点配置一组,所需配置项如下(下面的参数只能设置在[NDB_MGMD]参数组中):
nodeid:为节点指定一个唯一的 ID 号,要求在整个 Cluster 环境中唯一;
Hostname:配置该节点的 IP 地址或者主机名,如果是主机名,则该主机名必须要在配置文件所在的节点的/etc/hosts 文件中存在,而且绑定的IP是准确的。上面[NDB_MGMD DEFAULT]里面的所有参数项,都可以设置在下面的[NDB_MGMD]参数组里面,但是 nodeid和Hostname两个参数只能设置在[NDB_MGMD]里面,而不能设置在[NDB_MGMDDEFAULT]里面,因为这两个参数项针对每一个节点都是不相同的内容。
2、NDB 节点相关配置
NDB 节点和管理节点一样,既有各个节点共用的配置信息组[NDBD DEFAULT],也有每一个节点个性化配置的[NDBD]配置组(实际上 SQL 节点也是如此)。
1) [NDBD DEFAULT]中的配置项:
NoOfReplicas:定义在 Cluster 环境中相同数据的分数,通俗一点来说就是每一份数据存放NoOfReplicas份。如果希望能够冗余,那么至少设置为2(一般情况来说此参数值设置为2就够了),最大只能设置为4。另外,NoOfReplicas值得大小,实际上也就是node group大小的定义。NoOfReplicas参数没有系统默认值,所以必须设定,而且只能设置在[NDBD DEFAULT]中,因为此数值在整个Cluster集群中一个node group中所有的NDBD节点都需要一样。另外NoOfReplicas 的数目对整个Cluster环境中NDB节点数量有较大的影响,因为NDB 节点总数量是 NoOfReplicas * 2 * node_group_num;
DataDir:指定本地的pid 文件,trace文件,日志文件以及错误日志子等存放的路径,无系统默认地址,所以必须设定;
DataMemory:设定用于存放数据和主键索引的内存段的大小。这个大小限制了能存放的数据的大小,因为ndb存储引擎需属于内存数据库引擎,需要将所有的数据(包括索引 )都load到内存中。这个参数并不是一定需要设定的,但是默认值非常小(80M),只也就是说如果使用默认值,将只能存放很小的数据。参数设置需要带上单位,如 512M,2G 等。另外,DataMemory 里面还会存放 UNDO 相关的信息,所以,事务的大小和事务并发量也决定了DataMemory 的使用量,建议尽量使用小事务;
IndexMemory:设定用于存放索引(非主键)数据的内存段大小。和 DataMemory类似,这个参数值的大小同样也会限制该节点能存放的数据的大小,因为索引的大小是随着数据量增长而增长的。参数设置也如 DataMemory 一样需要单位。IndexMemory 默认大小为18M;实际上,一个 NDB 节点能存放的数据量是会受到 DataMemory 和 IndexMemory 两个参数设置的约束,两者任何一个达到限制数量后,都无法再增加能存储的数据量。如果继续存入数据系统会报错“table is full”。
FileSystemPath:指定 redo 日志,undo 日志,数据文件以及meta 数据等的存放位置,默认位置为 DataDir 的设置,并且在 ndbd 初始化的时候,参数所设定的文件夹必须存在。在第一次启动的时候,ndbd 进程会在所设定的文件夹下建立一个子文件夹叫ndb_id_fs,这里的 id 为节点的 ID 值,如节点 id 为3则文件夹名称为 ndb_3_fs。当然,这个参数也不一定非得设置在[NDBD DEFAULT]参数组里面让所有节点的设置都一样(不过建议这样设置),还可以设置在[NDBD]参数组下为每一个节点单独设置自己的 FileSystemPath值;
BackupDataDir:设置备份目录路径,默认为 FileSystemPath/BACKUP。接下来的几个参数也是非常重要的,主要都是与并行事务数和其他一些并行限制有关的参数设置。
MaxNoOfConcurrentTransactions:设置在一个节点上面的最大并行事务数目,默认为 4096,一般情况下来说是足够了的。这个参数值所有节点必须设置一样,所以一般都是设置在[NDBD DEFAULT]参数组下面;
MaxNoOfConcurrentOperations:设置同时能够被更新(或者锁定)的记录数量。一般来说可以设置为在整个集群中相同时间内可能被更新(或者锁定)的总记录数,除以 NDB节点数,所得到的值。比如,在集群中有两个 NDB 节点,而希望能够处理同时更新(或锁定 )100000 条记录,那么此参数应该被设置为:100000 / 4 = 25000。此外,这里的记录数量并不是指单纯的表里面的记录数,而是指事物里面的操作记录。当使用到唯一索引的时候,表的数据和索引两者都要算在里面,也就是说,如果是通过一个唯一索引来作为过滤条件更新某一条记录,那么这里算是两条操作记录。而且即使是锁定也会产生操作记录,比如通过唯一索引来查找一条记录,就会产生如下两条操作记录:通过读取唯一索引中的某个记录数据会产生锁定,产生一条操作记录,然后读取基表里面的数据,这里也会产生读锁,也会产生一条操作记录。MaxNoOfConcurrentOperations 参数的默认值为 32768。当我们额度系统运行过程中,如果出现此参数不够的时候,就会报出“Out of operation records intransaction coordinator”这样的错误信息;
MaxNoOfLocalOperations:此参数默认是 MaxNoOfConcurrentOperations * 1.1的大小,也就是说,每个节点一般可以处理超过平均值的 10%的操作记录数量。但是一般来说,MySQL 建议单独设置此参数而不要使用默认值,并且将此参数设置得更较大一些;
以下的三个参数主要是在一个事务中执行一条 query 的时候临时用到存储(或者内存)的情况下所使用到的,所使用的存储信息会在事务结束(commit 或者 rollback)的时候释放资源;
MaxNoOfConcurrentIndexOperations:这个参数和 MaxNoOfConcurrentOperations参数比较类似,只不过所针对的是 Index 的 record 而已。其默认值为 8192,对伊一般的系统来说都已经足够了,只有在事务并发非常非常大的系统上才有需要增加这个参数的设置。当然,此参数越大,系统运行时候为此而消耗的内存也会越大;
MaxNoOfFiredTriggers:触发唯一索引(hash index)操作的最大的操作数,这个操作数是影响索引的操作条目数,而不是操作的次数。系统默认值为 4000,一般系统来说够用了。当然,如果系统并发事务非常高,而且涉及到索引的操作也非常多,自然也就需要提高这个参数值的设置了;
TransactionBufferMemory:这个 buffer 值得设置主要是指定用于跟踪索引操作而使用的。主要是用来存储索引操作中涉及到的索引 key 值和 column 的实际信息。这个参数的值一般来说也很少需要调整,因为实际系统中需要的这部分 buffer 量非常小,虽然默认值只是 1M,但是对于一般应用也已经足够了;
下面要介绍到的参数主要是在系统处理中做 table scan 或者 range scan 的时候使用的一些 buffer 的相关设置,设置的恰当可以既节省内存又达到足够的性能要求。
MaxNoOfConcurrentScans:这个参数主要控制在 Cluster 环境中并发的 table scan和 range scan 的总数量平均分配到每一个节点后的平均值。一般来说,每一个 scan 都是通过并行的扫描所有的 partition 来完成的,每一个 partition 的扫描都会在该 partition所在的节点上面使用一个 scan record。所以,这个参数值得大小应该是“scan record”数目 * 节点数目。参数默认大小为 256,最大只能设置为 500