• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧
您的位置:首页 > CMS教程 >建站教程 > MySQL大数据分页查询性能优化

MySQL大数据分页查询性能优化

作者:站长图库 字体:[增加 减小] 来源:互联网 时间:2022-04-29

站长图库向大家介绍了MySQL大数据,MySQL分页查询,MySQL性能优化等相关知识,希望对您有所帮助

这篇教程为大家介绍MySQL大数据分页查询性能优化的方法,希望大家学习后能有所提升。


MySQL大数据分页查询性能优化


使用limit start, count分页语句

select * from product limit start, count

当起始页较小时,查询没有性能问题,我们分别看下从10, 100, 1000, 10000开始分页的执行时间(每页取20条), 如下:

select * from product limit 10, 20   0.016秒select * from product limit 100, 20   0.016秒select * from product limit 1000, 20   0.047秒select * from product limit 10000, 20   0.094秒

我们已经看出随着起始记录的增加,时间也随着增大, 这说明分页语句limit跟起始页码是有很大关系的,那么我们把起始记录改为40w看下(也就是记录的一般左右) 

select * from product limit 400000, 20   3.229秒

再看我们取最后一页记录的时间

select * from product limit 866613, 20   37.44秒

难怪搜索引擎抓取我们页面的时候经常会报超时,像这种分页最大的页码页显然这种时间是无法忍受的。

从中我们也能总结出两件事情:

1)limit语句的查询时间与起始记录的位置成正比

2)mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用。

对limit分页问题的性能优化方法

利用表的覆盖索引来加速分页查询

我们都知道,利用了索引查询的语句中如果只包含了那个索引列(覆盖索引),那么这种情况会查询很快。

因为利用索引查找有优化算法,且数据就在查询索引上面,不用再去找相关的数据地址了,这样节省了很多时间。另外Mysql中也有相关的索引缓存,在并发高的时候利用缓存就效果更好了。

在我们的例子中,我们知道id字段是主键,自然就包含了默认的主键索引。现在让我们看看利用覆盖索引的查询效果如何:

这次我们之间查询最后一页的数据(利用覆盖索引,只包含id列),如下:

select id from product limit 866613, 20 0.2秒

相对于查询了所有列的37.44秒,提升了大概100多倍的速度

那么如果我们也要查询所有列,有两种方法,一种是id>=的形式,另一种就是利用join,看下实际情况:

SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20

查询时间为0.2秒,简直是一个质的飞跃。

另一种写法

SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id

查询时间也很短!

其实两者用的都是一个原理嘛,所以效果也差不多

Mysql的分页查询十分简单,但是当数据量大的时候一般的分页就吃不消了。

传统分页查询:

SELECT c1,c2,cn… FROM table LIMIT n,m

MySQL的limit工作原理就是先读取前面n条记录,然后抛弃前n条,读后面m条想要的,所以n越大,偏移量越大,性能就越差。


推荐分页查询方法

1、尽量给出查询的大致范围

SELECT c1,c2,cn... FROM table WHERE id>=20000 LIMIT 10;

2、子查询法

SELECT c1,c2,cn... FROM table WHERE id>=(SELECT id FROM table LIMIT 20000,1)LIMIT 10;

3、高性能MySQL一书中提到的只读索引方法

优化前SQL:

SELECT c1,c2,cn... FROM member ORDER BY last_active LIMIT 50,5

优化后SQL:

SELECT c1, c2, cn .. .FROM memberINNER JOIN (SELECT member_id FROM member ORDER BY last_active LIMIT 50, 5)USING (member_id)

分别在于,优化前的SQL需要更多I/O浪费,因为先读索引,再读数据,然后抛弃无需的行。而优化后的SQL(子查询那条)只读索引(Cover index)就可以了,然后通过member_id读取需要的列。

4、第一步用用程序读取出ID,然后再用IN方法读取所需记录

程序读ID:

SELECT id FROM table LIMIT 20000, 10;SELECT c1, c2, cn .. . FROM table WHERE id IN (id1, id2, idn.. .)


分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • MySQL大数据分页查询性能优化

相关文章

  • 2022-04-29Linux怎么查看程序是否在运行状态
  • 2022-04-29Photoshop设计绚丽效果的星光视频教程
  • 2022-04-29jQuery url中文乱码怎么办
  • 2022-04-29Photoshop设计立体效果的网站推荐图标
  • 2022-04-29使用18小时快速搜索引擎排名的后果
  • 2022-04-29WordPress通过加密隐藏wp-login/admin后台默认登录地址
  • 2022-04-29介绍PHP基于Thinkphp5的砍价活动相关设计
  • 2022-04-29解决网站打开出现"SEC_ERROR_EXPIRED_CERTIFICATE"问题
  • 2022-04-29介绍Vue3中Composition API及其核心用法
  • 2022-04-29Photoshop设计复古风格的行星海报教程

文章分类

  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧

最近更新的内容

    • 巧用“添加至百度首页”提升排名
    • 怎样选择合适的关键词去销售产品
    • 解决TP5.1出现A non well formed numeric value encountered的问题
    • Discuz“密码错误次数过多,请15分钟后登陆”
    • DedeCMS织梦模板使likearticle标签支持排序orderby的方法
    • DEDECMS V5.7 伪静态设置
    • 一起来了解下Bootstrap中的tab选项卡
    • CSS3背景图片固定滑动效果
    • WordPress密码重设提示“您的密码重设链接无效,请在下方请求新链接”
    • Photoshop制作透明大气的导航按钮

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有