MySQL索引分析和優(yōu)化
2024-07-24 12:56:29
供稿:網(wǎng)友
一、什么是索引?
索引用來快速地尋找那些具有特定值的記錄,所有mysql索引都以b-樹的形式保存。如果沒有索引,執(zhí)行查詢時mysql必須從第一個記錄開始掃描整個表的所有記錄,直至找到符合要求的記錄。表里面的記錄數(shù)量越多,這個操作的代價就越高。如果作為搜索條件的列上已經(jīng)創(chuàng)建了索引,mysql無需掃描任何記錄即可迅速得到目標記錄所在的位置。如果表有1000個記錄,通過索引查找記錄至少要比順序掃描記錄快100倍。
假設我們創(chuàng)建了一個名為people的表:
create table people ( peopleid smallint not null, name char(50) not null );
然后,我們完全隨機把1000個不同name值插入到people表。下圖顯示了people表所在數(shù)據(jù)文件的一小部分:
可以看到,在數(shù)據(jù)文件中name列沒有任何明確的次序。如果我們創(chuàng)建了name列的索引,mysql將在索引中排序name列:
對于索引中的每一項,mysql在內(nèi)部為它保存一個數(shù)據(jù)文件中實際記錄所在位置的“指針”。因此,如果我們要查找name等于“mike”記錄的peopleid(sql命令為“select peopleid from people where name='mike';”),mysql能夠在name的索引中查找“mike”值,然后直接轉(zhuǎn)到數(shù)據(jù)文件中相應的行,準確地返回該行的peopleid(999)。在這個過程中,mysql只需處理一個行就可以返回結(jié)果。如果沒有“name”列的索引,mysql要掃描數(shù)據(jù)文件中的所有記錄,即1000個記錄!顯然,需要mysql處理的記錄數(shù)量越少,則它完成任務的速度就越快。
二、索引的類型
mysql提供多種索引類型供選擇:
普通索引
這是最基本的索引類型,而且它沒有唯一性之類的限制。普通索引可以通過以下幾種方式創(chuàng)建:
創(chuàng)建索引,例如create index <索引的名字> on tablename (列的列表);
修改表,例如alter table tablename add index [索引的名字] (列的列表);
創(chuàng)建表的時候指定索引,例如create table tablename ( [...], index [索引的名字] (列的列表) );
唯一性索引
這種索引和前面的“普通索引”基本相同,但有一個區(qū)別:索引列的所有值都只能出現(xiàn)一次,即必須唯一。唯一性索引可以用以下幾種方式創(chuàng)建:
創(chuàng)建索引,例如create unique index <索引的名字> on tablename (列的列表);
修改表,例如alter table tablename add unique [索引的名字] (列的列表);
創(chuàng)建表的時候指定索引,例如create table tablename ( [...], unique [索引的名字] (列的列表) );
主鍵
主鍵是一種唯一性索引,但它必須指定為“primary key”。如果你曾經(jīng)用過auto_increment類型的列,你可能已經(jīng)熟悉主鍵之類的概念了。主鍵一般在創(chuàng)建表的時候指定,例如“create table tablename ( [...], primary key (列的列表) ); ”。但是,我們也可以通過修改表的方式加入主鍵,例如“alter table tablename add primary key (列的列表); ”。每個表只能有一個主鍵。
全文索引
mysql從3.23.23版開始支持全文索引和全文檢索。在mysql中,全文索引的索引類型為fulltext。全文索引可以在varchar或者text類型的列上創(chuàng)建。它可以通過create table命令創(chuàng)建,也可以通過alter table或create index命令創(chuàng)建。對于大規(guī)模的數(shù)據(jù)集,通過alter table(或者create index)命令創(chuàng)建全文索引要比把記錄插入帶有全文索引的空表更快。本文下面的討論不再涉及全文索引,要了解更多信息,請參見mysql documentation。
三、單列索引與多列索引
索引可以是單列索引,也可以是多列索引。下面我們通過具體的例子來說明這兩種索引的區(qū)別。假設有這樣一個people表:
create table people ( peopleid smallint not null auto_increment, firstname char(50) not null, lastname char(50) not null, age smallint not null, townid smallint not null, primary key (peopleid) );
下面是我們插入到這個people表的數(shù)據(jù):
這個數(shù)據(jù)片段中有四個名字為“mikes”的人(其中兩個姓sullivans,兩個姓mcconnells),有兩個年齡為17歲的人,還有一個名字與眾不同的joe smith。
這個表的主要用途是根據(jù)指定的用戶姓、名以及年齡返回相應的peopleid。例如,我們可能需要查找姓名為mike sullivan、年齡17歲用戶的peopleid(sql命令為select peopleid from people where firstname='mike' and lastname='sullivan' and age=17;)。由于我們不想讓mysql每次執(zhí)行查詢就去掃描整個表,這里需要考慮運用索引。
首先,我們可以考慮在單個列上創(chuàng)建索引,比如firstname、lastname或者age列。如果我們創(chuàng)建firstname列的索引(alter table people add index firstname (firstname);),mysql將通過這個索引迅速把搜索范圍限制到那些firstname='mike'的記錄,然后再在這個“中間結(jié)果集”上進行其他條件的搜索:它首先排除那些lastname不等于“sullivan”的記錄,然后排除那些age不等于17的記錄。當記錄滿足所有搜索條件之后,mysql就返回最終的搜索結(jié)果。
由于建立了firstname列的索引,與執(zhí)行表的完全掃描相比,mysql的效率提高了很多,但我們要求mysql掃描的記錄數(shù)量仍舊遠遠超過了實際所需要的。雖然我們可以刪除firstname列上的索引,再創(chuàng)建lastname或者age列的索引,但總地看來,不論在哪個列上創(chuàng)建索引搜索效率仍舊相似。
為了提高搜索效率,我們需要考慮運用多列索引。如果為firstname、lastname和age這三個列創(chuàng)建一個多列索引,mysql只需一次檢索就能夠找出正確的結(jié)果!下面是創(chuàng)建這個多列索引的sql命令:
alter table people add index fname_lname_age (firstname,lastname,age);
由于索引文件以b-樹格式保存,mysql能夠立即轉(zhuǎn)到合適的firstname,然后再轉(zhuǎn)到合適的lastname,最后轉(zhuǎn)到合適的age。在沒有掃描數(shù)據(jù)文件任何一個記錄的情況下,mysql就正確地找出了搜索的目標記錄!
那么,如果在firstname、lastname、age這三個列上分別創(chuàng)建單列索引,效果是否和創(chuàng)建一個firstname、lastname、age的多列索引一樣呢?答案是否定的,兩者完全不同。當我們執(zhí)行查詢的時候,mysql只能使用一個索引。如果你有三個單列的索引,mysql會試圖選擇一個限制最嚴格的索引。但是,即使是限制最嚴格的單列索引,它的限制能力也肯定遠遠低于firstname、lastname、age這三個列上的多列索引。
四、最左前綴
多列索引還有另外一個優(yōu)點,它通過稱為最左前綴(leftmost prefixing)的概念體現(xiàn)出來。繼續(xù)考慮前面的例子,現(xiàn)在我們有一個firstname、lastname、age列上的多列索引,我們稱這個索引為fname_lname_age。當搜索條件是以下各種列的組合時,mysql將使用fname_lname_age索引:
firstname,lastname,age
firstname,lastname
firstname
從另一方面理解,它相當于我們創(chuàng)建了(firstname,lastname,age)、(firstname,lastname)以及(firstname)這些列組合上的索引。下面這些查詢都能夠使用這個fname_lname_age索引:
select peopleid from people where firstname='mike' and lastname='sullivan' and age='17'; select peopleid from people where firstname='mike' and lastname='sullivan'; select peopleid from people where firstname='mike'; the following queries cannot use the index at all: select peopleid from people where lastname='sullivan'; select peopleid from people where age='17'; select peopleid from people where lastname='sullivan' and age='17';
五、選擇索引列
在性能優(yōu)化過程中,選擇在哪些列上創(chuàng)建索引是最重要的步驟之一。可以考慮使用索引的主要有兩種類型的列:在where子句中出現(xiàn)的列,在join子句中出現(xiàn)的列。請看下面這個查詢:
select age ## 不使用索引 from people where firstname='mike' ## 考慮使用索引 and lastname='sullivan' ## 考慮使用索引
這個查詢與前面的查詢略有不同,但仍屬于簡單查詢。由于age是在select部分被引用,mysql不會用它來限制列選擇操作。因此,對于這個查詢來說,創(chuàng)建age列的索引沒有什么必要。下面是一個更復雜的例子:
select people.age, ##不使用索引 town.name ##不使用索引 from people left join town on people.townid=town.townid ##考慮使用索引 where firstname='mike' ##考慮使用索引 and lastname='sullivan' ##考慮使用索引
與前面的例子一樣,由于firstname和lastname出現(xiàn)在where子句中,因此這兩個列仍舊有創(chuàng)建索引的必要。除此之外,由于town表的townid列出現(xiàn)在join子句中,因此我們需要考慮創(chuàng)建該列的索引。
那么,我們是否可以簡單地認為應該索引where子句和join子句中出現(xiàn)的每一個列呢?差不多如此,但并不完全。我們還必須考慮到對列進行比較的操作符類型。mysql只有對以下操作符才使用索引:<,<=,=,>,>=,between,in,以及某些時候的like。可以在like操作中使用索引的情形是指另一個操作數(shù)不是以通配符(%或者_)開頭的情形。例如,“select peopleid from people where firstname like 'mich%';”這個查詢將使用索引,但“select peopleid from people where firstname like '%ike';”這個查詢不會使用索引。
六、分析索引效率
現(xiàn)在我們已經(jīng)知道了一些如何選擇索引列的知識,但還無法判斷哪一個最有效。mysql提供了一個內(nèi)建的sql命令幫助我們完成這個任務,這就是explain命令。explain命令的一般語法是:explain <sql命令>。你可以在mysql文檔找到有關(guān)該命令的更多說明。下面是一個例子:
explain select peopleid from people where firstname='mike' and lastname='sullivan' and age='17';
這個命令將返回下面這種分析結(jié)果:
table type possible_keys key key_len ref rows extra
people ref fname_lname_age fname_lname_age 102 const,const,const 1 where used
下面我們就來看看這個explain分析結(jié)果的含義。
table:這是表的名字。
type:連接操作的類型。下面是mysql文檔關(guān)于ref連接類型的說明:
“對于每一種與另一個表中記錄的組合,mysql將從當前的表讀取所有帶有匹配索引值的記錄。如果連接操作只使用鍵的最左前綴,或者如果鍵不是unique或primary key類型(換句話說,如果連接操作不能根據(jù)鍵值選擇出唯一行),則mysql使用ref連接類型。如果連接操作所用的鍵只匹配少量的記錄,則ref是一種好的連接類型。”
在本例中,由于索引不是unique類型,ref是我們能夠得到的最好連接類型。
如果explain顯示連接類型是“all”,而且你并不想從表里面選擇出大多數(shù)記錄,那么mysql的操作效率將非常低,因為它要掃描整個表。你可以加入更多的索引來解決這個問題。預知更多信息,請參見mysql的手冊說明。
possible_keys:
可能可以利用的索引的名字。這里的索引名字是創(chuàng)建索引時指定的索引昵稱;如果索引沒有昵稱,則默認顯示的是索引中第一個列的名字(在本例中,它是“firstname”)。默認索引名字的含義往往不是很明顯。
key:
它顯示了mysql實際使用的索引的名字。如果它為空(或null),則mysql不使用索引。
key_len:
索引中被使用部分的長度,以字節(jié)計。在本例中,key_len是102,其中firstname占50字節(jié),lastname占50字節(jié),age占2字節(jié)。如果mysql只使用索引中的firstname部分,則key_len將是50。
ref:
它顯示的是列的名字(或單詞“const”),mysql將根據(jù)這些列來選擇行。在本例中,mysql根據(jù)三個常量選擇行。
rows:
mysql所認為的它在找到正確的結(jié)果之前必須掃描的記錄數(shù)。顯然,這里最理想的數(shù)字就是1。
extra:
這里可能出現(xiàn)許多不同的選項,其中大多數(shù)將對查詢產(chǎn)生負面影響。在本例中,mysql只是提醒我們它將用where子句限制搜索結(jié)果集。
七、索引的缺點
到目前為止,我們討論的都是索引的優(yōu)點。事實上,索引也是有缺點的。
首先,索引要占用磁盤空間。通常情況下,這個問題不是很突出。但是,如果你創(chuàng)建每一種可能列組合的索引,索引文件體積的增長速度將遠遠超過數(shù)據(jù)文件。如果你有一個很大的表,索引文件的大小可能達到操作系統(tǒng)允許的最大文件限制。
第二,對于需要寫入數(shù)據(jù)的操作,比如delete、update以及insert操作,索引會降低它們的速度。這是因為mysql不僅要把改動數(shù)據(jù)寫入數(shù)據(jù)文件,而且它還要把這些改動寫入索引文件。
【結(jié)束語】在大型數(shù)據(jù)庫中,索引是提高速度的一個關(guān)鍵因素。不管表的結(jié)構(gòu)是多么簡單,一次500000行的表掃描操作無論如何不會快。如果你的網(wǎng)站上也有這種大規(guī)模的表,那么你確實應該花些時間去分析可以采用哪些索引,并考慮是否可以改寫查詢以優(yōu)化應用。要了解更多信息,請參見mysql manual。另外注意,本文假定你所使用的mysql是3.23版,部分查詢不能在3.22版mysql上執(zhí)行。