|
本文主要介绍的是MySQL/Oracle数据库优化的一些方法，着重讲述了：
- 1.如何创建单字段索引和复合索引；
- 2.MySQL数据的优化方法；
- 3.垂直分表和水平分表的优缺点，
- 4.如何在MySQL/Oracle创建存储过程；
个人见解，不对的地方请指出；
一、数据量一般的情况，考虑以下优化方式
1、创建索引
对于查询占主要的应用来说，索引显得尤为重要。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的，或者说没有添加更为有效的索引导致。如果不加索引的话，那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描，如果一张表的数据量很大而符合条件的结果又很少，那么不加索引会引起致命的性能下降。但是也不是什么情况都非得建索引不可，比如性别可能就只有两个值，建索引不仅没什么优势，还会影响到更新速度，这被称为过度索引。
示例：
oracle 创建索引：
单一索引:Create Index <Index-Name> On <Table_Name>(Column_Name);
复合索引: Create Index <Index-Name> on <Table_Name>(Column_Name1，Column_Name2); —>在emp表的deptno、job列建立索引。
- <Index-Name>：索引名称
- <Table_Name>：表名称
- (Column_Name1，Column_Name2)：索引对应的列名称
mysql 创建索引：
用ALTER TABLE来创建索引，示例代码如下：
ALTER TABLE table_name ADD INDEX index_name (column_list)
- table_name：索引的表名；
- column_list：索引对应的列名称，多列时各列之间用逗号分隔。
- index_name：索引名，缺省时，MySQL将根据第一个索引列赋一个名称。
- ALTER TABLE允许在单个语句中更改多个表，因此可以在同时创建多个索引。
2、复合索引
比如有一条语句是这样的：select * from users where name='zhangsan' and age=25;
如果我们是在area和age上分别创建单个索引的话，由于mysql查询每次只能使用一个索引，所以虽然这样已经相对不做索引时全表扫描提高了很多效率，但是如果在name、age两列上创建复合索引的话将带来更高的效率。如果我们创建了(name, age, salary)的复合索引，那么其实相当于创建了(name,age,salary)、(name,age)、(name)三个索引，这被称为最佳左前缀特性。因此我们在创建复合索引时应该将最常用作限制条件的列放在最左边，依次递减；
3、索引不会包含有NULL值的列
只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。
4、使用短索引
对串列进行索引，如果可能应该指定一个前缀长度。例如，如果有一个CHAR(255)的 列，如果在前10 个或20 个字符内，多数值是惟一的，那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。
5、排序的索引问题
mysql查询只使用一个索引，因此如果where子句中已经使用了索引的话，那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作；尽量不要包含多个列的排序，如果需要最好给这些列创建复合索引。
6、like语句操作
一般情况下不鼓励使用like操作，如果非使用不可，如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。
7、不要在列上进行运算（使用函数）
select * from table where YEAR(adddate)<2007;
将在每个行上进行运算，这将导致索引失效而进行全表扫描，因此我们可以改成select * from table where adddate<‘2007-01-01';
8、不使用NOT IN和<>操作
NOT IN和<>操作都不会使用索引将进行全表扫描。NOT IN可以NOT EXISTS代替，id<>3则可使用id>3 or id<3来代替。
二、数据量巨大（千万级及以上），优化方法
1.最简单最好实现的就是（一）的八个步骤；
2.分表技术(水平分割、垂直分割)
2.1mysql分表（水平分表）
create table sys_test(
id bigint auto_increment primary key,
name varchar(20),
sex tinyint not null default '0'
)engine=myisam default charset=utf8 auto_increment=1;
注意：engine=MyISAM 和engine=innoDB的区别，engine=MyISAM侧重性能，速度较快，但不支持事物；engine=innoDB支持事物，但在速度上与前者相比稍逊一筹；
- 新建两张表sys_test1和sys_test2，字段名称数据类型必须和sys_test完全一致，为以后的读取做好准备；
注意：1.建立两张表的时候数据引擎设置为engine=MyISAM；2.字段名称数据类型必须和主表一致
- 把主表sys_test中的数据分到 sys_test1和sys_test2
insert into sys_test1(id,name,sex) select id,name,sex from sys_test where id%2=0;
insert into sys_test2(id,name,sex) select id,name,sex from sys_test where id%2=1;
注意：总表只是一个外壳，存取数据发生在一个一个的分表里面。
垂直分表：
表的记录并不多，但是字段却很长，表占用空间很大，检索表的时候需要执行大量的IO，严重降低了性能。这时需要把大的字段拆分到另一个表，并且该表与原表是一对一的关系。
example：在一个博客系统中，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。
而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。
- 存储引擎的使用不同，冷数据使用MyIsam可以有更好的查询数据。活跃数据，可以使用Innodb,可以有更好的更新速度。
- 对冷数据进行更多的从库配置，因为更多的操作是查询，这样来加快查询速度。
- 对于一些特殊的活跃数据，也可以考虑使用memcache,redis之类的缓存，等累计到一定量再去更新数据库.
mysql水平分表和垂直分表优缺点对比：
| 名称 |
优点 |
缺点 |
适用范围 |
| 水平分表 |
拆分规则抽象好，join 操作基本可以数据库做。
不存在单库大数据，高并发的性能瓶颈。
应用端改造较少。
提高了系统的稳定性跟负载能力。 |
拆分规则难以抽象。
分片事务一致性难以解决。
数据多次扩展难度跟维护量极大。
跨库 join 性能较差。 |
解决单表中数据量增长出现的压力，不解决表与表之间的io争夺；
|
| 垂直分表 |
拆分后业务清晰，拆分规则明确。
系统之间整合或扩展容易。
数据维护简单。 |
部分业务表无法 join，只能通过接口方式解决，提高了系统复杂度。
受每种业务不同的限制存在单库性能瓶颈，不易数据扩展跟性能提高。
事务处理复杂。
由于垂直切分是按照业务的分类将表分散到不同的库，所以有些业务表会过于庞大，存在单库读写与存储瓶颈，所以就需要水平拆分来做解决。 |
解决表与表之间的io竞争，不解决单表中数据量增长出现的压力
|
这里不做叙述，想学习请查看如下网址：https://www.cnblogs.com/congcidaishangjiamianju/p/8045804.htmlOracle分表：
3.读写[写: update/delete/add]分离
4.存储过程 [模块化编程，可以提高速度]
4.1mysql创建一个简单的存储过程
MySQL创建存储过程的语句
CREATE PROCEDURE sp_name ([proc_parameter[,...]]) [characteristic ...] routine_body
sp_name参数是存储过程的名称；proc_parameter表示存储过程的参数列表； characteristic参数指定存储过程的特性；routine_body参数是SQL代码的内容，可以用BEGIN…END来标志SQL代码的开始和结束。
proc_parameter中的每个参数由3部分组成。这3部分分别是输入输出类型、参数名称和参数类型。其形式如下：
[IN|OUT|INOUT]param_nametype
其中，IN表示输入参数；OUT表示输出参数； INOUT表示既可以是输入，也可以是输出； param_name参数是存储过程的参数名称；type参数指定存储过程的参数类型，该类型可以是MySQL数据库的任意数据类型。
characteristic参数有多个取值。其取值说明如下：
LANGUAGE SQL：说明routine_body部分是由SQL语言的语句组成，这也是数据库系统默认的语言。
[NOT] DETERMINISTIC：指明存储过程的执行结果是否是确定的。DETERMINISTIC表示结果是确定的。每次执行存储过程时，相同的输入会得到相同的输出。NOT DETERMINISTIC表示结果是非确定的，相同的输入可能得到不同的输出。默认情况下，结果是非确定的。
{ CONTAINS SQL | NO SQL | READS SQL DATA | MODIFIES SQL DATA }：指明子程序使用SQL语句的限制。CONTAINS SQL表示子程序包含SQL语句，但不包含读或写数据的语句；NO SQL表示子程序中不包含SQL语句；READS SQL DATA表示子程序中包含读数据的语句；MODIFIES SQL DATA表示子程序中包含写数据的语句。默认情况下，系统会指定为CONTAINS SQL。
SQL SECURITY { DEFINER | INVOKER }：指明谁有权限来执行。DEFINER表示只有定义者自己才能够执行；INVOKER表示调用者可以执行。默认情况下，系统指定的权限是DEFINER。
COMMENT 'string'：注释信息。
技巧：创建存储过程时，系统默认指定CONTAINS SQL，表示存储过程中使用了SQL语句。但是，如果存储过程中没有使用SQL语句，最好设置为NO SQL。而且，存储过程中最好在COMMENT部分对存储过程进行简单的注释，以便以后在阅读存储过程的代码时更加方便。
示例如下：
CREATE PROCEDURE num_from_employee (IN emp_id INT, OUT count_num INT )
READS SQL DATA
BEGIN
SELECT COUNT(*) INTO count_num
FROM employee
WHERE d_id=emp_id ;
END
4.2 Oracle存储过程创建
存储过程基本语法：
CREATE OR REPLACE PROCEDURE 存储过程名(param1 in type,param2 out type)
IS
变量1 类型(值范围);
变量2 类型(值范围);
BEGIN
select count(*) into 变量1 from 表名 where 列名=param1;
if (判断条件) then
select 列名 into 变量2 from 表名 where 列名=param1;
DBMS_OUTPUT.put_line('打印信息');
Elsif (判断条件) then
dbms_output.put_line('打印信息');
Else
Raise 异常名 (NO_DATA_FOUND);
End if;
Exception
When others then
Rollback;
END;
详情请参考：https://www.cnblogs.com/Zeros/p/8081080.html
5.对数据库配置优化 [配置最大并发数my.ini, 调整缓存大小
MySQL优化配置文件：
当解决了上述服务器硬件制约因素后，让我们看看MySQL自身的优化是如何操作的。对MySQL自身的优化主要是对其配置文件 my.cnf中的各项参数进行优化调整。下面我们介绍一些对性能影响较大的参数。 由于my.cnf文件的优化设置是与服务器硬件配置息息相关的，因而我们指定一个假想的服务器硬件环境：
下面，我们根据以上硬件配置结合一份已经优化好的my.cnf进行说明：
#vim /etc/my.cnf以下只列出my.cnf文件中[mysqld]段落中的内容，其他段落内容对MySQL运行性能影响甚微，因而姑且忽略。
代码如下 ：
[mysqld]
port = 3306
serverid = 1
socket = /tmp/mysql.sock
skip-locking
#避免MySQL的外部锁定，减少出错几率增强稳定性。
skip-name-resolve
#禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求！
back_log = 384
#back_log 参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中。 如果系统在一个短时间内有很多连接，则需要增大该参数的值，该参数值指定到来的TCP/IP连接的侦听队列的大小。不同的操作系统在这个队列大小上有它自 己的限制。 试图设定back_log高于你的操作系统的限制将是无效的。默认值为50。对于Linux系统推荐设置为小于512的整数。
key_buffer_size = 256M
#key_buffer_size指定用于索引的缓冲区大小，增加它可得到更好的索引处理性能。对于内存在4GB左右的服务器该参数可设置为256M或384M。注意：该参数值设置的过大反而会是服务器整体效率降低！
max_allowed_packet = 4M
thread_stack = 256K
table_cache = 128K
sort_buffer_size = 6M
#查询排序时所能使用的缓冲区大小。注意：该参数对应的分配内存是每连接独占，如果有100个连接，那么实际分配的总共排序缓冲区大小为100 × 6 ＝ 600MB。所以，对于内存在4GB左右的服务器推荐设置为6-8M。
read_buffer_size = 4M
#读查询操作所能使用的缓冲区大小。和sort_buffer_size一样，该参数对应的分配内存也是每连接独享。
join_buffer_size = 8M
#联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享。
myisam_sort_buffer_size = 64M
table_cache = 512
thread_cache_size = 64
query_cache_size = 64M
# 指定MySQL查询缓冲区的大小。可以通过在MySQL控制台观察，如果Qcache_lowmem_prunes的值非常大，则表明经常出现缓冲不够的 情况；如果Qcache_hits的值非常大，则表明查询缓冲使用非常频繁，如果该值较小反而会影响效率，那么可以考虑不用查询缓 冲；Qcache_free_blocks，如果该值非常大，则表明缓冲区中碎片很多。
tmp_table_size = 256M
max_connections = 768
#指定MySQL允许的最大连接进程数。如果在访问论坛时经常出现Too Many Connections的错误提 示，则需要增大该参数值。
max_connect_errors = 10000000
wait_timeout = 10
#指定一个请求的最大连接时间，对于4GB左右内存的服务器可以设置为5-10。
thread_concurrency = 8
#该参数取值为服务器逻辑CPU数量*2，在本例中，服务器有2颗物理CPU，而每颗物理CPU又支持H.T超线程，所以实际取值为4*2=8
skip-networking
#开启该选项可以彻底关闭MySQL的TCP/IP连接方式，如果WEB服务器是以远程连接的方式访问MySQL数据库服务器则不要开启该选项！否则将无法正常连接！
table_cache=1024
#物理内存越大,设置就越大.默认为2402,调到512-1024最佳
innodb_additional_mem_pool_size=4M
#默认为2M
innodb_flush_log_at_trx_commit=1
#设置为0就是等到innodb_log_buffer_size列队满后再统一储存,默认为1
innodb_log_buffer_size=2M
#默认为1M
innodb_thread_concurrency=8
#你的服务器CPU有几个就设置为几,建议用默认一般为8
key_buffer_size=256M
#默认为218，调到128最佳
tmp_table_size=64M
#默认为16M，调到64-256最挂
read_buffer_size=4M
#默认为64K
read_rnd_buffer_size=16M
#默认为256K
sort_buffer_size=32M
#默认为256K
thread_cache_size=120
#默认为60
query_cache_size=32M
6.mysql服务器硬件升级
7.定时的去清除不需要的数据,定时进行碎片整理(MyISAM)
年后第一天上班，整理一篇数据库优化博客一篇，献给大家，谢谢。
整理好自己的情绪，2019 Fighting ！！！
| 
转播
