在数据库管理系统中,查询优化器是一个至关重要的组件,它负责将用户提交的SQL查询转换为高效的执行计划。在MySQL中,查询优化器使用了一个称为“成本模型”的机制来评估不同执行计划的优劣,并选择其中成本最低的那个。本文将深入探讨MySQL的成本模型,以及如何利用这一知识来优化查询性能。
成本模型是查询优化器用来估算查询执行成本的一组规则和算法。对于给定的查询,优化器会考虑多种可能的执行计划,并使用成本模型来预测每种计划的执行效率。执行成本通常是一个抽象的数值,它综合了CPU时间、I/O操作、内存使用等多个因素。
在MySQL中,成本模型主要基于以下几个方面的考量:
数据表的统计信息:包括表的行数、列的基数(不同值的数量)、索引的唯一性等。这些信息对于评估查询的过滤效果和索引的选择性至关重要。
索引的使用:索引可以显著提高查询性能,但并非所有情况下都是最优选择。成本模型会评估使用索引带来的I/O减少与索引维护成本之间的权衡。
连接操作:对于涉及多个表的查询,成本模型会考虑不同连接策略(如嵌套循环连接、哈希连接等)的成本。
排序和分组操作:这些操作通常需要额外的CPU和内存资源。成本模型会估算不同排序和分组策略的成本,并选择最优方案。
MySQL的查询优化器在执行查询之前会经历以下几个步骤:
解析查询:将SQL文本转换为抽象语法树(AST)。
预处理:检查查询的语义正确性,进行常量折叠等优化。
查询重写:根据规则和启发式方法修改原始查询,以简化结构或提高性能。
生成执行计划:考虑所有可能的执行路径,并使用成本模型评估每种路径的成本。
选择最优执行计划:根据成本模型的估算结果,选择成本最低的执行计划。
执行查询:按照选定的执行计划执行查询并返回结果。
了解MySQL的成本模型对于数据库管理员和开发来说是非常有价值的。下面的一些实践建议可以帮助你利用成本模型来优化查询性能:
保持统计信息更新:定期运行ANALYZE TABLE
命令来更新表的统计信息,确保优化器有准确的数据来评估查询成本。
合理设计索引:根据查询模式和数据分布来设计索引,避免过度索引导致的性能下降。使用EXPLAIN
命令来检查查询是否使用了合适的索引。
优化查询语句:简化复杂的SQL查询,避免不必要的连接、子查询和计算。使用索引覆盖扫描(Covering Index)来减少数据查找的开销。
调整配置参数:某些MySQL配置参数会影响成本模型的计算方式。例如,optimizer_search_depth
参数可以控制优化器搜索执行计划的深度。根据你的硬件环境和查询负载来调整这些参数。
监控和分析:使用性能监控工具(如Percona Monitoring and Management, PMM)来跟踪查询的性能指标,并找出性能瓶颈。结合EXPLAIN
命令的输出和慢查询日志来分析问题查询的执行计划。
MySQL在server_cost
和engine_cost
这两个系统表中存储了默认的成本值。这些表位于MySQL的系统数据库中(通常是mysql
数据库)。服务器在启动时会读取这些成本值到内存中,以便在运行时使用。如果需要,管理员可以通过执行特定的命令(如FLUSH OPTIMIZER_COSTS
)来重新从磁盘加载成本表。
重要的是这些成本值是特定于服务器的,并且不会复制到副本或备用服务器。这意味着每台服务器的成本模型可能会根据其硬件配置、工作负载和性能调优策略而有所不同。
row_evaluate_cost(默认值通常为0.2):这个成本值代表处理一行数据时的CPU成本。随着查询需要处理的行数增加,这个成本也会相应增加。计算公式是:CPU成本 = 行数 * row_evaluate_cost。
io_block_read_cost 和 memory_block_read_cost(默认值通常为1.0):这两个成本值分别代表从磁盘和内存中读取一个数据块(通常是一个数据页,大小约为16KB)的成本。IO成本的计算公式是:IO成本 = (总数据大小(以字节为单位)/ 1024) * io_block_read_cost 或 memory_block_read_cost。
disk_iotask_cost(磁盘I/O任务成本):这个值表示执行一次磁盘I/O操作的成本。由于磁盘I/O操作通常比内存操作要慢得多,因此这个成本值相对较高。优化器在考虑是否使用索引或进行全表扫描时会考虑这个成本。
key_compare_cost(键比较成本):当MySQL使用索引来过滤数据时,需要对索引键进行比较。这个成本条目表示进行一次键比较的成本。这个值通常较低,因为键比较操作相对较快。
memory_temptable_create_cost(内存临时表创建成本):在某些查询中,MySQL可能需要创建临时表来存储中间结果。这个成本条目表示在内存中创建一个临时表的成本。如果内存不足,MySQL可能会选择使用磁盘来存储临时表,这会增加I/O成本。
memory_temptable_batch_row_cost(内存临时表批量行成本):当向内存临时表中插入多行数据时,这个成本条目表示每插入一批数据的成本。这个值通常较低,因为批量插入比单独插入每一行要高效。
disk_temptable_create_cost(磁盘临时表创建成本):如果MySQL选择在磁盘上创建临时表,这个成本条目表示创建磁盘临时表的成本。这个值通常比内存临时表创建成本要高,因为磁盘操作更慢。
disk_temptable_batch_row_cost(磁盘临时表批量行成本):类似于内存临时表批量行成本,但这个成本条目是针对磁盘临时表的。它表示向磁盘临时表中批量插入数据的成本。
sort_merge_passes(排序合并传递成本):在进行排序操作时,如果数据量很大且内存不足,MySQL可能需要使用归并排序算法。这个成本条目表示进行一次归并传递的成本。归并排序涉及多次合并传递,因此这个成本在评估排序操作的总体成本时很重要。
要获取特定MySQL实例中这些成本条目的实际值,可以查询mysql系统数据库中的server_cost和engine_cost表:
SELECT * FROM mysql.server_cost;
SELECT * FROM mysql.engine_cost;
要查看特定表的信息,包括其数据大小(Data_length
字段),可以执行以下SQL查询:
SHOW TABLE STATUS LIKE 'your_table_name';
在这个查询结果中,Data_length
字段表示表的数据部分占用的字节数。这个值可以用来计算读取整个表数据的IO成本。
MySQL 优化器会考虑那些因素来决定是否执行全表扫描,以及如何计算其成本的呢,下面我们来基于成本原理计算一下:
我们有一个 employees
表,其中包含员工信息,如 ID、姓名、部门和薪水等。该表具有以下特点:
确定数据页数量:
I/O 成本计算:
CPU 成本计算:
总成本计算:
这个总成本是一个估算值,用于与优化器考虑的其他查询执行计划(如使用索引)进行比较。请注意,这里的成本是一个相对值,用于比较不同执行计划的优劣,而不是一个绝对值或货币成本。
基于上述成本计算,如果优化器发现使用索引的成本低于全表扫描的成本,它会选择使用索引。否则,如果没有合适的索引或全表扫描被认为更高效(例如,在需要检索表中大部分行的情况下),优化器将选择全表扫描。
在实际应用中,全表扫描的成本会受到多种因素的影响:
MySQL的成本模型是查询优化器的核心组件之一,它对于生成高效的执行计划至关重要。通过深入了解成本模型的工作原理,并结合实际的查询优化实践,可以显著提高数据库的性能和响应速度。
文章浏览阅读2.6k次。摘要:主要讨论了GB/T25198-2010中封头最小成形厚度的确定,及如何合理的设计封头的名义厚度,及在材料厚度临界值时投料厚度的选取。关键词:封头 最小成形厚度 名义厚度一、GB/T25198-2010中封头最小成形厚度的确定GB/T25198-2010《压力容器封头》已于2011年2月11日起实施。该标准规定了压力容器用封头的制造、检验与验收要求,以及常用的封头形式与基本参数。该标准中规定:..._压力容器 最小成型厚度
文章浏览阅读511次,点赞4次,收藏7次。其中,深度学习模型具有很强的处理复杂数据的能力。本文介绍了BiLSTM模型在多特征输入单个因变量输出拟合预测问题中的应用,并且提供了一个基于Matlab的程序。BiLSTM模型是一个非常有用的工具,它能够处理序列数据,并且能够应对多特征输入单个因变量输出的拟合预测问题。BiLSTM模型的输入是一个序列,每个时间步的输入是多个特征的组合,而输出则是一个单一的预测结果。在多特征输入单个因变量输出拟合预测问题中,我们需要将多个特征作为输入,然后通过建立模型,输出单个因变量的拟合预测结果。二、BiLSTM模型。_bilstm预测模型
文章浏览阅读1w次,点赞15次,收藏63次。动态路由是与静态路由相对的一个概念,指路由器能够根据路由器之间的交换的特定路由信息自动地建立自己的路由表,并且能够根据链路和节点的变化适时地进行自动调整。当网络中节点或节点间的链路发生故障,或存在其它可用路由时,动态路由可以自行选择最佳的可用路由并继续转发报文。_1.vlan基本原理 2.rip动态路由工作原理 3.链路聚合技术基本原理
文章浏览阅读1.6k次。比如通过下面该命令run一个容器,容器生成后发现既没有任何报错也没有消息提示但是就是自动关闭了。docker容器运行必须有一个前台进程, 如果没有前台进程执行,容器认为空闲,就会自行退出。docker run -it -P --name="容器名" [镜像名] /bin/bash。docker run -it -P --name="容器名" [镜像名]docker run -d ----name="容器名" [镜像名]在最后加上/bin/bash就可以了。有时候在run后面加-d也可以成功。_docker镜像启动后又迅速结束
文章浏览阅读3.8w次,点赞15次,收藏75次。文章目录查看已安装的版本卸载查看可安装的版本重装19.03.7查看安装后的版本查看已安装的版本[root@master custom-wordpress-php-gd-freetype]# yum list installed|grep dockercontainerd.io.x86_64 1.2.13-3.1.el7 @do..._重装docker
文章浏览阅读283次。1.read():以二进制的格式读取文相应的内容2.geturl():根据相应的内容,获取到请求的url3.getheaders():获取头部信息,列表里面有元组一般转成字典4.getcode():获取状态码5.readlines():按行读取,返回一个列表,都是字节类型6.下载图片的两种方式方式一:import urllib.requestimage_url = '..._urlparse read()
文章浏览阅读1w次,点赞15次,收藏56次。第一次写,见谅以下是求迷宫的实现/*第一部分使用递归求解为了数据的简单化,不对路口进行数据结构化,将用一个简单的int类型数组来表示迷宫因为每一个路口的四个方向相对于当前路口的位移都是一样的,这样可以用一个int类型二位数据表示四个方向的相对于当前位置的位移,以顺时针东、南,、西、北储存 *///路口数据结构化//当前路口状态;1表示通顺路口,2表示搜索过的,0表示障碍路口#include..._n阶迷宫c程序递归
文章浏览阅读128次。文章目录1.平滑升级php到7版本2.控制页面字体显示不乱码2.利用pernoca模板实现对 mysqld的监控2.1配置mysql2.2安装percona-zabbix模块2.3导入模块1.平滑升级php到7版本在server1上:1.获取以上安装包2.清除之前版本的php并安装新版本的phprpm -qa | grep phpyum remove `rpm -qa | grep php`yum install * zabbix-web zabbix-web-mysql3.开启zabb_mysql zabbix 监控方案
文章浏览阅读6.7k次,点赞4次,收藏35次。走tcp协议连接MQTT可以解决模块不支持MQTT协议的问题。首先我们得在onenet平台上创建设备。具体如何创建,请看onenet平台的手册教程。创建设备后,我们把产品ID、设备ID和鉴权信息,记录下来。第二步我们要知道服务器的ip地址和端口号Onenet平台的mqtt的服务器IP是:183.230.40.39 端口是:6002第三步使用tcp工具选择TCPClient然后输..._tcp转mqtt
文章浏览阅读1.2w次,点赞13次,收藏61次。当前的office办公软件主要分为两种。一是微软的office,另一种是金山的wps office(国产免费)。这两个使用大体区别不大,就是在一些小细节上面会有些许不一样,用不同的打开软件打开可能格式会有问题。包含“Excel、Word、PowerPoint、Outlook、OneNote、publisher、access”全部办公功能。只有“Excel、Word、PowerPoint”三个功能。二、下载路径_office怎么下载
文章浏览阅读2.4k次。本文主要介绍怎么在.NET环境下开发OCX控件,打包安装部署程序,以及怎么在页面上调用控件。开发1、新建一个类库,然后打开类库的属性,应用程序→程序集信息 2、编辑程序集信息,主要是要把底部的 使程序集COM可见 勾上,点确定保存程序集信息 3、在类库的属性面板上选择 生成,拉到底部把 为COM互操作注册 勾上 4、在.NET下面开发OCX需要实现IObjectSaf...
文章浏览阅读1.1k次。数据集内容包含7481张训练图片以及7518张测试图片,一共有80256个标记物体并且测试模式包含普通的视角以及鸟瞰视角(Bird Eye’s View, BEV)任务这里主要针对Kitti数据集的3D检测任务,分为3类:(1)简单:最小的box高度为40px,不出现遮挡,最大box重叠比例为15%(2)中等:最小的box高度为25px,最多出现部分遮挡,最大box重叠比例为30%(3)困难:最小的box高度为25px,最多出现几乎完全遮挡,最大box重叠比例为50%算mAP的时候,对于Ca_kitti thetas