数据库查询优化的方法

数据库查询优化技术

许多程序员认为查询优化是DBMS（数据库管理系统）的任务，与程序员所编写的SQL语句关系不大，这是错误的。一个好的查询计划往往可以使程序性能提高数十倍。查询计划是用户所提交的SQL语句的集合，查询规划是经过优化处理之后所产生的语句集合。DBMS处理查询计划的过程是这样的：在做完查询语句的词法、语法检查之后，将语句提交给DBMS的查询优化器，优化器做完代数优化和存取路径的优化之后，由预编译模块对语句进行处理并生成查询规划，然后在合适的时间提交给系统处理执行，最后将执行结果返回给用户。在实际的数据库产品(如Oracle、Sybase等)的高版本中都是采用基于代价的优化方法，这种优化能根据从系统字典表所得到的信息来估计不同的查询规划的代价，然后选择一个较优的规划。虽然现在的数据库产品在查询优化方面已经做得越来越好，但由用户提交的SQL语句是系统优化的基础，很难设想一个原本糟糕的查询计划经过系统的优化之后会变得高效，因此用户所写语句的优劣至关重要。

下面以关系数据库系统Informix为例，介绍改善用户查询计划的方法。

1．合理使用索引

索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处，其使用原则如下：

●在经常进行连接，但是没有指定为外键的列上建立索引，而不经常连接的字段则由优化器自动生成索引。

●在频繁进行排序或分组（即进行group by或order by操作）的列上建立索引。

●在条件表达式中经常用到的不同值较多的列上建立检索，在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值，因此就无必要建立索引。如果建立索引不但不会提高查询效率，反而会严重降低更新速度。

●如果待排序的列有多个，可以在这些列上建立复合索引（compound index）。

优化SQL Server数据库查询

SQL Server数据库查询速度慢的原因有很多，常见的有以下几种：

1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷)。

2、I/O吞吐量小，形成了瓶颈效应。

3、没有创建计算列导致查询不优化。

4、内存不足。

5、网络速度慢。

6、查询出的数据量过大(可以采用多次查询，其他的方法降低数据量)。

7、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷)。

8、sp_lock,sp_who,活动的用户查看，原因是读写竞争资源。

9、返回了不必要的行和列。

10、查询语句不好，没有优化。

可以通过以下方法来优化查询：

1、把数据、日志、索引放到不同的I/O设备上，增加读取速度，以前可以将Tempdb应放在RAID0上，SQL2000不在支持。数据量(尺寸)越大，提高I/O越重要。 2、纵向、横向分割表，减少表的尺寸(sp_spaceuse)。

3、升级硬件。

4、根据查询条件，建立索引，优化索引、优化访问方式，限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小，使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段。

5、提高网速。

6、扩大服务器的内存，Windows 2000和SQL server 2000能支持4-8G的内存。

配置虚拟内存：虚拟内存大小应基于计算机上并发运行的服务进行配置。运行Microsoft SQL Server? 2000时，可考虑将虚拟内存大小设置为计算机中安装的物理内存的1.5倍。如果另外安装了全文检索功能，并打算运行Microsoft搜索服务以便执行全文索引和查询，可考虑：将虚拟内存大小配置为至少是计算机中安装的物理内存的3倍。将SQL Server max server memory服务器配置选项配置为物理内存的1.5倍(虚拟内存大小设置的一半)。

优化数据库的八种方法

优化数据库是提高数据库性能和效率的重要手段之一。下面将介绍八种常见的数据库优化方法。

一、合理设计数据库结构

数据库结构的设计直接影响数据库的性能和效率。在设计数据库时，应注意以下几点：

1. 表的字段应设置合理的数据类型和长度，避免浪费存储空间和计算资源。

2. 为表添加适当的索引，以加快查询速度。索引应根据查询的频率和类型进行选择。

3. 合理划分表和字段的关系，避免冗余和重复数据。使用范式化的设计可以提高数据的一致性和完整性。

二、优化查询语句

优化查询语句是提高数据库性能的关键。以下是一些优化查询语句的方法：

1. 调整查询语句的顺序，将最常用和最重要的条件放在前面，以提高查询效率。

2. 避免使用通配符查询，如“%”，会导致全表扫描，影响性能。

3. 使用合适的连接方式，如INNER JOIN、LEFT JOIN等，减少不必要的数据读取。 4. 避免在WHERE子句中使用函数，函数会导致索引失效，影响查询效率。

三、优化索引

索引是提高数据库查询效率的重要手段。以下是一些优化索引的方法：

1. 选择合适的索引类型，如B树索引、哈希索引等，根据查询的类型和频率进行选择。

2. 避免在索引列上使用函数或运算符，这会导致索引失效。

3. 定期对索引进行优化和重建，以保证索引的有效性和性能。

四、合理使用缓存

缓存是提高数据库访问速度的重要手段。以下是一些合理使用缓存的方法：

1. 使用数据库缓存，如Redis、Memcached等，可以减少对数据库的访问次数。

2. 合理设置缓存时间，避免缓存数据过期或过长时间没有更新。

3. 使用缓存预热，提前加载常用数据到缓存中，减少用户访问时的延迟。

五、分表分库

当数据库数据量庞大时，可以考虑进行分表分库操作，以减轻单个数据库的压力。以下是一些分表分库的方法：

1. 根据业务需求和数据特点，将数据划分到不同的表或数据库中。

2. 使用分片技术，将数据按照一定规则分布到多个数据库中。

数据库的查询优化技术

数据库系统是管理信息系统的核心，基于数据库的联机事务处理（OLTP）以及联机分析处理(OLAP)是银行、企业、政府等部门最为重要的计算机应用之一。从大多数系统的应用实例来看，查询操作在各种数据库操作中所占据的比重最大，而查询操作所基于的SELECT语句在SQL语句中又是代价最大的语句。举例来说，如果数据的量积累到一定的程度，比如一个银行的账户数据库表信息积累到上百万甚至上千万条记录，全表扫描一次往往需要数十分钟，甚至数小时。如果采用比全表扫描更好的查询策略，往往可以使查询时间降为几分钟，由此可见查询优化技术的重要性。

笔者在应用项目的实施中发现，许多程序员在利用一些前端数据库开发工具（如PowerBuilder、Delphi等）开发数据库应用程序时，只注重用户界面的华丽，并不重视查询语句的效率问题，导致所开发出来的应用系统效率低下，资源浪费严重。因此，如何设计高效合理的查询语句就显得非常重要。本文以应用实例为基础，结合数据库理论，介绍查询优化技术在现实系统中的运用。

分析问题

许多程序员认为查询优化是DBMS（数据库管理系统）的任务，与程序员所编写的SQL语句关系不大，这是错误的。一个好的查询计划往往可以使程序性能提高数十倍。查询计划是用户所提交的SQL语句的集合，查询规划是经过优化处理之后所产生的语句集合。DBMS处理查询计划的过程是这样的：在做完查询语句的词法、语法检查之后，将语句提交给DBMS的查询优化器，优化器做完代数优化和存取路径的优化之后，由预编译模块对语句进行处理并生成查询规划，然后在合适的时间提交给系统处理执行，最后将执行结果返回给用户。在实际的数据库产品(如Oracle、Sybase等)的高版本中都是采用基于代价的优化方法，这种优化能根据从系统字典表所得到的信息来估计不同的查询规划的代价，然后选择一个较优的规划。虽然现在的数据库产品在查询优化方面已经做得越来越好，但由用户提交的SQL语句是系统优化的基础，很难设想一个原本糟糕的查询计划经过系统的优化之后会变得高效，因此用户所写语句的优劣至关重要。系统所做查询优化我们暂不讨论，下面重点说明改善用户查询计划的解决方案。