你的sql查询为什么这么慢?

be-thinking 2018-06-16 原文

你的sql查询为什么这么慢?

      做后台开发的程序猿通常需要写各种各样的sql,可很多时候写出来的sql虽然能满足功能性需求,性能上却不尽人意。如果业务复杂,表结构和索引设计又不合理的话,写出来的sql执行时间可能会达到几十甚至上百秒,对于生产环境来说,这是相当恐怖的一件事。因此,了解一些常见的mysql优化技巧很有必要。本文将从表结构和索引设计,sql执行原理,sql编写优化3方面进行分析和讲解,希望能对大家有所帮助。

     1、表结构,字段设计是否合理?

           这是最基础也是最容易忽视的一个环节。良好的表结构设计是sql优化的基础,在这个存储廉价,空间足够的时代,设计表的过程中,不一定要完全满足范式理论,我们可以通过适当的冗余设计,避免连表查询,达到以空间来换取时间的目的。设计表的时候,我们会根据业务需求来决定建几个表,表之间通过哪些外键来关联。而且通常需要考虑到数据规模(单表记录数最好不要超过千万,如果超过可能需要分表分区,包括垂直分表和水平分表)、查询更新频率(哪些字段经常用于查询,哪些经常用于更新),各字段的类型和长度取值,在哪些字段上建哪种类型的索引等等。

           比方说,如果你是innodb存储引擎,那么你的主键最好设计成自增的,这样效率最高。因为innodb存储引擎的索引是基于B+树实现,如果采用自增设计,就能快速找到插入节点的位置进行插入或删除,对其他节点影响较小,避免频繁分裂树结构。有的公司设计表的时候喜欢采用UUID的方式来作为主键,这样的好处是数据迁移的时候,主键不会变,能找到对应关系,但是会有2个问题:1、UUID的长度是36位,占用字节较长,尤其对于innoDB来说,建立辅助索引的时候,辅助索引里存储的都是主键的值,这会导致辅助索引占据空间变大。2、UUID是无序的,每次插入或者删除一条记录的时候,为了维持索引的特性,可能会导致节点频繁分裂,这样非常影响效率。

          在设计字段的时候,尽量采用整形的,比如用tinyint 代替char(1),这样便于存储和计算。在满足业务的前提下,长度越短越好,如果有大对象,比如text或blob类型的字段,并且这些字段查询频率较低时,可以考虑拆表来单独存储(也就是垂直分表),避免对主表造成影响。此外,设计表的时候,最好设计为not null,因为允许为null时,mysql还需要有个字节来标识是否是null,而且mysql索引无法存储null,如果在一列允许null 的索引中使用where colum is null,那么mysql是不会走所有的。如果如果有的字段就是没值怎么办?可以用空字符串或者0这些代替。

     2、sql执行原理

           写好了sql后,sql是怎么执行的呢?当我们运行sql的时候,会经历客户端发送请求,服务端接受请求并解析sql,生成sql执行计划,执行并将结果返回给客户端这些过程。要优化sql,首先要知道sql到底在哪些环节花了多长时间。这里不去分析网络因素对sql造成的影响,我们只需关注sql生成的执行计划,这个执行计划能很大程度上帮助我们找到优化sql的方向。那怎么看sql的执行计划呢?explain 你的sql。比如在mysql自带的sakila数据库上执行如下sql:

          

          可以看到有id,select_type,partitions,type,possible_keys等等内容。首先说一下,比较重要的有id,select_type,type(相当重要),key(相当重要),key_len,extra这几列。其他的列就不介绍了。这些内容都代表什么意义呢?

          id通常表示执行顺序,比如有3行,id分别为1,1,2,那么执行顺序就是1,1,2,通常id的个数对应select的个数。

          select_type表示查询类型,主要有以下几种:

                  SIMPLE:简单SELECT(不使用UNION或子查询等)

                  PRIMARY:最外面的SELECT

                  UNION:UNION中的第二个或后面的SELECT语句

                  DEPENDENT UNION:UNION中的第二个或后面的SELECT语句,取决于外面的查询

                  UNION RESULT:UNION的结果。

                  SUBQUERY:子查询中的第一个SELECT

                  DEPENDENT SUBQUERY:子查询中的第一个SELECT,取决于外面的查询

                  DERIVED:导出表的SELECT(FROM子句的子查询)

         type:表示使用了哪种类别的连接,有无使用索引,是使用Explain命令分析性能瓶颈的关键项之一,性能由好到坏依次为:system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL。一般来说,得保证查询至少达到range级别,最好能达到ref,否则就可能会出现性能问题。

        key:表示使用的索引,如果没有选择索引,则为NULL。

        key_len:表示索引长度,对于单列索引,该值意义不大,对于联合索引,则有重要作用,key_len的大小显示了联合索引中真正用到的哪几列,如果是联合索引,则该值越大表示走的索引列越多,查询效率越高,这里涉及到索引前缀的知识,该部分后面有空再讲。对于该列的值,也有计算公式:如果是单列索引,则key_len=索引列的长度*字符编码占用的字节数(UTF8编码为3字节,GBK为2字节,latin为1字节)+标识是否允许null的字节数(1字节)+内容长度(针对可变长列,1字节),举个例子:

      

      该表中,city_id是主键,city字段是varchar类型,长度为50,默认为null,执行explain select city from sakila.city,如下:

      

      可以发现,这里走了覆盖索引,顺便提下,覆盖索引就是sql的查询内容通过走sql索引就能查到,这种情况就是覆盖索引,所以这里我们看到,即使我们不加where条件也能走索引。索引列是city_name,key_len为152,怎么来的呢?对照上面的公式:50长度*3(UTF8编码一个字符3个字节)+1(标识是否为null)+1(标识内容的长度),这样是不是很清晰了?

    最后这列Extra:包含MySQL解决查询的详细信息,也是关键参考项之一。当这列出现了Using filesort(出现这种情况九死一生,很有必要优化)和Using temporary(这里就是十死0生了,必须优化!)就需要格外注意了。

   3、优化你的sql

        当完成了上面2步以后,如果发现你的sql很慢,这时候就必须对我们的sql进行优化了。2个大的思路是先问问自己:是否建了索引?索引建的是否合适?当我们分析一条sql慢的时候,我们需要考虑,这条sql查询的内容是否建了索引呢?如果没有,那要在哪列建哪种索引呢?比如我们要从用户表(>100W条记录)中根据姓名查某个用户,如果没有建索引,显然会很慢,那么怎么建索引呢?你可能会说很简单嘛,就在姓名上建个索引不就完了嘛。那假如(只是假如)姓名这列里,100W个用户中,有50W个叫张三的,20W个叫李四的,30W个王五的,你在这里建合适吗?显然不合适,或者说,仅仅对这列建单列索引不合适,因为选择性太差。而且这会导致个问题,单sql存储引擎发现走全表扫描比走索引更快的时候,它会放弃走索引,直接扫表。这里有个最重要的关键词:选择性,选择性可以理解为:该表中该列的不重复数/总记录数,该比值在0-1之间,越接近1说明选择性越好,唯一索引的选择性就是1,因此唯一索引是性能最好的索引。像上面用户表中,该表的选择性我们可以这么查:select  count(distinct name)/count(*) from customer;因此我们要做的,就是想办法提高索引的选择性,可以采用建联合索引,或者部分索引(就是取该列的N个字符来建索引,但是这种索引不能用于group by中)等等,遵循这个思路,我们就明白,有的开发员在性别列建索引,其实并不是一个好选择,因为选择性太差。要建高效的索引,就一定是选择性好的索引。

       端午假期第一天,上午看了会世界杯,下午闲的无聊写了这篇博客,欢迎拍砖交流。

 

 

 

 

  

发表于 2018-06-16 19:05 曦阳x 阅读() 评论() 编辑 收藏

 

版权声明:本文为be-thinking原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/be-thinking/p/9191138.html

你的sql查询为什么这么慢?的更多相关文章

  1. 正则表达式性能优化的探究

    正则表达式 一.背景   前文的String字符串性能优化的探究中的第3点讲述了Split() 方法使用了正则 […]...

  2. 读完这篇,让你真正理解Redis持久化

    读完这篇,让你真正理解Redis持久化 什么叫持久化? 用一句话可以将持久化概括为:将数据(如内存中的对象)保 […]...

  3. mysql索引

    mysql索引 初始索引 索引在mysql中也叫做键 是存储引擎用于快速找到记录的一种数据结构 优点: 索引对 […]...

  4. (译)删除未使用的前端代码

    注:本文翻译自 https://web.dev/fast/remove-unused-code,Written […]...

  5. Android性能优化-内存泄漏的8个Case

    1为什么要做性能优化? 手机性能越来越好,不用纠结这些细微的性能? Android每一个应用都是运行的独立的D […]...

  6. React性能优化之PureComponent 和 memo使用分析

    React性能优化之PureComponent 和 memo使用分析 前言 关于react性能优化,在reac […]...

  7. 终于我用JOL打破了你对java对象的所有想象

    目录 简介 JOL简介 使用JOL分析VM信息 使用JOL分析String 使用JOL分析数组 使用JOL分析 […]...

  8. Mysql索引

    前言 就我个人所知,MySQL目前已经作为绝大数项目的数据库选择。但是经常会需要去处理慢sql导致的各类问题。 […]...

随机推荐

  1. 163邮箱SMTP设置

        如题要设置系统邮件自动发送 首先注册的网易邮箱要去开通SMTP服务,然后就是端口的设置   授权码   […]...

  2. 一次完整的HTTP事务是怎样一个过程?

    转自:https://blog.51cto.com/linux5588/1351007 声明:本文章中的说法仅 […]...

  3. 数据分析路线

    1.首先学会使用excel表:常用函数、基本使用方法 2.学sql语法(b站 黎曼的猜想《MySQL基础》)& […]...

  4. jQuery的选择器

    我们以前在CSS中学习的选择器有: 今天来学习一下jQuery 选择器。 jQuery选择器是jQuery强大 […]...

  5. 自己写的前端小练习

    自己在学习过程中跟着学习的简单html页面,页面展示效果:    >>>源码如下: < […]...

  6. 机器学习中回归分析(多变量)

    回归分析好久都没有了解了。下面再复习下。 **1.波士顿房产数据(完整)**通过如下代码即可获取所有数据 `` […]...

  7. gRPC入坑记

    概要 由于gRPC主要是谷歌开发的,由于一些已知的原因,gRPC跑demo还是不那么顺利的。单独写这一篇,主要 […]...

  8. Python爬取4399好wan的小游戏!

    此代码转载而来,作者也不会python爬虫,实在抱歉 代码转自:https://www.cnblogs.com […]...

展开目录

目录导航