• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase
您的位置:首页 > 数据库 >Mysql > 【MySQL数据库】第四章解读:Schema与数据类型优化(下)

【MySQL数据库】第四章解读:Schema与数据类型优化(下)

作者:匿名 字体:[增加 减小] 来源:互联网 时间:2018-12-05

匿名通过本文主要向大家介绍了MySQL等相关知识,希望本文的分享对您有所帮助

4.2MySQL schema设计中的陷阱

因为mysql实现机制导致了一些特定错误,如何避免,慢慢道来:

1、太多的列

MySQL存储引擎api工作时需要在服务器层和存储引擎层通过行缓冲格式拷贝数据,然后在服务器层将缓冲内容解码成各个列,从行缓冲中将编码过的列转换成行数据的操作代价高,myisam定长行与服务器行结构正好匹配,不需要转换;但是变长行结构 InnoDB的行结构总是需要转换,转换代价依赖于列的数量。

2、太多的关联

实体-属性-值EAV:糟糕的设计模式,mysql限制了每个关联操作最多只能有61张表,但EAV数据库需许多自关联;一个粗略的经验法则,如果希望查询执行得快速且并发性好,单个查询最好在12个表内做关联;

3、防止过度使用枚举

注意防止过度使用枚举;使用外键关联到字典表或查找表查找具体的值,在mysql中,需要在枚举列表中添加值时,要做一次alter table;MySQL5.0更早alter table阻塞操作,5.1更新版本中,不是在列表末尾增加值也会一样需要alter table

4、非此发明not invent here的null

建议存空值可以用0、特殊值、空字符串代替,尽量不要null;但是不要走极端,在某些场景下、使用null会更好:

create table ……(
//全0 (不可能的日期)会导致很多问题
    dt datetime not null default '0000-00-00 00:00:00'
    ……
)

MySQL会在索引中存储null值,Oracle不会

4.3范式与反范式

4.3.1优缺点

1、范式化的更新操作更快

2、当数据较好地范式化时,很少有重复数据,只需要修改更少的数据

3、范式化的表更小,可更好地放到内存里,执行操作更快

4、很少冗余数据,检索列表数据时更少需要distinct、group by语句

缺点:

需要关联,有代价且可能使索引无效

4.3.2反范式的优点和缺点

避免关联,数据比内存大可能比关联要快很多(避免了随机I/O)

4.4缓存表和汇总表

缓存表:

对优化搜索和检索查询语句很有效,

存储那些可以较简单地从其他表获取数据(每次获取速度比较慢)的表

汇总表:保存使用group by语句聚合数据的表

使用时决定是实时维护数据还是定期重建,定期重建:节省资源、碎片少、顺序组织的索引(高效)

重建时,保证数据在操作时依然可用,通过“影子表”来实现,影子表:一张在真实表背后创建的表,在完成建表操作后,可通过原子的重命名操作切换影子表和原表

1.png

4.4.1物化视图

预先计算并存在磁盘上的表,可通过各种策略刷新和更新,mysql不原生支持,可使用Justin Swanhart工具flexviews实现:

flexviews组成:

  • 变更数据抓取,读取服务器二进制日志且解析相关行的变更

  • 一系列可以帮助 创建和管理 视图 的定义 的 存储过程

  • 一些可应用变更到 数据库中的物化视图 的工具

flexviews通过提取对源表的更改,可增量地重新计算物化视图的内容:不需要查询原始数据(高效)

4.4.2计数器表

计数器表:缓存一个用户朋友数、文件下载次数等,推荐创建一张独立的表存储计数器,避免查询缓存失效;

更新加事务,只能串行执行,为了更高的并发性,可将计数器保存在多行,每次随机选一行更新,要统计结果时,聚合查询;(这个我读了两三边,可能比较笨吧,就是同一个计数器保存多分,每次选其中一个更新,最后求和,好像还不是很好理解哈,多读几遍吧)

4.5加快alter table 操作的速度

mysql大部分修改表结构是:用新的结果创建空表、从旧表中查出all数据插入新表,删除旧表

mysql5.1及更新包含一些类型的“在线”操作的支持,整个过程不需要全锁表,最新版的InnoDB(MySQL5.5和更新版本中唯一的InnoDB)支持通过排序来建索引,建索引更快且紧凑的布局;

一般而言,大部分alter table导致mysql服务中断,对常见场景,使用的技巧:

1、先在一台不提供服务的机器上执行alter table操作,然后和提取服务的主库进行切换

2、影子拷贝,用要求的表结构创建张和源表无关的新表,通过重命名、删表交换两张表(上有)

不是all的alter table都引起表重建,理论上可跳过创建表的步骤:列默认值实际上存在表的.frm文件中,so可直接修改这个文件不需要改动表本身,但mysql还没有采用这种优化方法,all的modify column将导致表重建;

1.png

alter column:通frm文件改变列默认值:alter table容许使用alter column、modify column change column修改列,三种操作不一样;

alter table sakila.film alter column rental_duration set default 5;

4.5.1只修改frm文件

mysql有时在没有必要的时候也重建表,如果愿冒一些风险,可做些其他类型的修改而不用重建表:下面操作可能不能正常工作,先备份数据

下面操作不需要重建表:

1、移除一个列的auto_increment

2、增加、移除、更改enum和set常量,如果移除的是被用到的常量、查询返回空字符串

基本技术为想要的表结果创建新的frm文件,然后用它替换掉已经存在的那张表的frm文件:

1、创建一张有相同结构的空表,进行所需的修改

2、执行flush tables with read lock:关闭all正在使用的表且禁止任何表被打开

3、交换frm文件

4、执行unlock tables释放第2步的读锁

示例略

4.5.2快速创建myISAM索引

1、为高效地载入数据到MyISAM表,常用技巧:先禁用索引、载入数据、重启索引:因为构建索引的工作延迟到数据载入后,此时可通过排序构建索引,快且使得索引树的碎片更少、更紧凑

1.png

但是对唯一索引无效(disable keys),myisam会在内存中构造唯一索引且为载入的每一行检查唯一性,一旦索引大小超过有效内存、载入操作会越来越慢;

2、在现代版InnoDB中,有个类似技巧:先删除all非唯一索引,然后增加新的列,最后重建删除掉的索引(依赖于innodb快速在线索引创建功能)Percona server可自动完成这些操作;

3、像前alter table 的骇客方法来加速这个操作,但需多做些工作且承担风险,这对从备份中载入数据很有用,如already know all data is effective ,and no need to do the unique check

  • 用需要的表结构创建一张表,不包括索引(如用load data file 且载入的表是空的,myisam可排序建索引)

  • 载入数据到表中以构建MYD文件

  • 按需要的结构创建另外一张空表,这次要包含索引,会创建.frm .MYI文件

  • 获读锁并刷新表

  • 重命名第二张表的frm文件 MYI,让mysql认为这是第一张表的文件

  • 释放读锁

  • 使用repair table来重建表的索引,该操作会通过排序来构建all索引、包括唯一索引

4.6总结

良好的schema设计原则是普通使用的,但mysql有自己的实现细节要注意,概括来说:尽可能保持任何东西小而简单总是好的;mysql喜欢简单(好恰、我也是)

  1. 最好避免使用bit

  2. 使用小而简单的合适类型;

  3. 尽量使用整型定义标识列

  4. 避免过度设计,比如会导致极复杂查询的schema设计,或很多列;

  5. 应该尽可能避免使用null值,除非真实数据模型中有确切需要

  6. 尽量使用相

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

相关文章

  • 2018-12-05MySql 安装时的1045错误
  • 2018-12-05关于mysql5.7.17.msi的安装图文教程分享
  • 2018-12-05清空MSSQL日志 与set recovery simple
  • 2017-05-11MySQL中使用case when 语句实现多条件查询的方法
  • 2018-12-05解析MySQL数据库中外键约束
  • 2018-12-05Oracle Enterprise Linux 5.2安装Oracle 10g数据库
  • 2018-12-05MySQL插入和查询语句操作(MYSQL语句操作教程1)
  • 2017-05-11解析mysql与Oracle update的区别
  • 2018-12-05MySQL数据库select for update的使用方法
  • 2018-12-05Mysql中的慢查询操作

文章分类

  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase

最近更新的内容

    • SQL 导入导出Excel数据的语句
    • MyEclipse连接MySQL数据库报错解决办法
    • MySQL server has gone away错误提示解决方法
    • MySQL 文本文件的导入导出数据的方法
    • SQL SERVER 2008 CTE生成结点的FullPath
    • mysql面试题小结
    • mysql建库时提示Specified key was too long max key length is 1000 bytes的问题的解决方法
    • Mysql数据库名和表名在不同系统下的大小写敏感问题
    • mysql5.1 command line client 登录时出现闪退如何解决
    • 总结MySQL数据库与表的基本常用命令

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有