• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase
您的位置:首页 > 数据库 >Mysql > Mysql优化-大数据量下的分页策略

Mysql优化-大数据量下的分页策略

作者:匿名 字体:[增加 减小] 来源:互联网 时间:2018-12-05

匿名通过本文主要向大家介绍了Mysql,大数据量,分页策略等相关知识,希望本文的分享对您有所帮助

一。前言

通常,我们分页时怎么实现呢?

SELECT * FROM table ORDER BY id LIMIT 1000, 10;

但是,数据量猛增以后呢?

SELECT * FROM table ORDER BY id LIMIT 1000000, 10;

如上第二条查询时很慢的,直接拖死。

最关键的原因mysql查询机制的问题:

不是先跳过,后查询;

而是先查询,后跳过。(解释如下)

什么意思?比如limit 100000,10,在找到需要的那10条时,先会轮询经过前10W条数据,先回行查询出前100000条的字段数据,然后发现没用舍弃掉,直到最后找到需要的10条。

二。分析

limit offset,N, 当offset非常大时,效率极低,
原因是mysql并不是跳过offset行,然后单取N行,
而是取offset+N行,返回放弃前offset行,返回N行【同前边说的先查询,后跳过】.
效率较低,当offset越大时,效率越低

三。3条优化建议

1:从业务上去解决

办法:不允许翻过100页

以百度为例,一般翻页到70页左右.


2:不用offset,用条件查询.

例:

mysql> select id, from lx_com limit 5000000,10;
+---------+--------------------------------------------+
| id      | name                                       |
+---------+--------------------------------------------+
| 5554609 |温泉县人民政府供暖中心          |
..................
| 5554618 |温泉县邮政鸿盛公司                |
+---------+--------------------------------------------+
10 rows in set (5.33 sec)
 
mysql> select id,name from lx_com where id>5000000 limit 10;
+---------+--------------------------------------------------------+
| id      | name                                                   |
+---------+--------------------------------------------------------+
| 5000001 |南宁市嘉氏百货有限责任公司                |
.................
| 5000002 |南宁市友达电线电缆有限公司                |
+---------+--------------------------------------------------------+
10 rows in set (0.00 sec)

现象:从5.3秒到不到100毫秒,查询速度大大加快;但是数据结果却不一样

优点:利用where条件来避免掉先查询后跳过的问题,而是条件缩小范围,从而直接跳过。

存在问题: 有时有会发现用此方法与limitM,N,两次的结果不一致[如上边实例所展示]

原因:数据被物理删除过,有空洞.

解决:数据不进行物理删除(可以逻辑删除).

最终在页面上显示数据时,逻辑删除的条目不显示即可.

(一般来说,大网站的数据都是不物理删除的,只做逻辑删除 ,比如 is_delete=1)

3:延迟索引.

非要物理删除,还要用offset精确查询,还不限制用户分页,怎么办?

优化思路:

利用索引覆盖,快速查询出满足条件的主键id;然后凭借主键id作为where条件,达到快速查询。

(速度快在哪里?利用索引覆盖不需要回行就可以快速查询出满足条件的id,时间节约在这里了)

我们现在必须要查,则只查索引,不查数据,得到id.再用id去查具体条目.

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 分享下mysql各个主要版本之间的差异
  • MySQL essential版本和普通版本有什么区别?
  • redhat 5.4下安装MYSQL全过程
  • 如何用SQL命令查看Mysql数据库大小
  • 解析mysql中如何获得数据库的大小
  • 解析mysql修改为utf8后仍然有乱码的问题
  • 5个常用的MySQL数据库管理工具详细介绍
  • 解析在MySQL里创建外键时ERROR 1005的解决办法
  • 解析远程连接管理其他机器上的MYSQL数据库
  • mysql 精简过程(删除一些文件)

相关文章

  • 2018-12-05Oracle Table Demo语句应用介绍
  • 2018-12-05Oracle数据分摊问题解析
  • 2018-12-05 IDE如何使用?总结 IDE实例用法
  • 2017-05-11mysql执行计划介绍
  • 2018-12-05关于node操作mysql数据库示例代码分享
  • 2018-12-05ERROR 1406 : Data too long for column 解决办法
  • 2018-12-05Oracle 10g的DBA无法登录解决方案
  • 2018-12-05谈谈数据库结构的实例教程
  • 2017-05-11批量替换 MySQL 指定字段中的字符串
  • 2017-05-11MySQL查询优化:连接查询排序浅谈

文章分类

  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase

最近更新的内容

    • mysql启动服务报1058错误的解决方法
    • 使用java处理字符串公式运算的方法
    • 尝试搭建MySQL master-slave主从复制的环境
    • Linux下MySQL数据库自动备份的实用方法
    • mysql 常用数据库语句 小练习
    • 分页存储过程(三)在sqlserver中打造更加准确的分页结果
    • Mysql常用查询语句
    • MySql5.7.14安装教程详解(解压版)_MySQL
    • 库名表名大小写问题与sqlserver兼容的启动配置方法
    • oracle 如何关闭打开归档日志

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有