有時(shí), 為了讓應(yīng)用程序運(yùn)行得更快,所做的全部工作就是在這里或那里做一些很小調(diào)整。啊,但關(guān)鍵在于確定如何進(jìn)行調(diào)整!遲早您會遇到這種情況:應(yīng)用程序中的 sql 查詢不能按照您想要的方式進(jìn)行響應(yīng)。它要么不返回?cái)?shù)據(jù),要么耗費(fèi)的時(shí)間長得出奇。如果它降低了報(bào)告或您的企業(yè)應(yīng)用程序的速度,用戶必須等待的時(shí)間過長,他們就會很不滿意。就像您的父母不想聽您解釋為什么在深更半夜才回來一樣,用戶也不會聽你解釋為什么查詢耗費(fèi)這么長時(shí)間。(“對不起,媽媽,我使用了太多的 left join。”)用戶希望應(yīng)用程序響應(yīng)迅速,他們的報(bào)告能夠在瞬間之內(nèi)返回分析數(shù)據(jù)。就我自己而言,如果在 web 上沖浪時(shí)某個(gè)頁面要耗費(fèi)十多秒才能加載(好吧,五秒更實(shí)際一些),我也會很不耐煩。
為了解決這些問題,重要的是找到問題的根源。那么,從哪里開始呢?根本原因通常在于數(shù)據(jù)庫設(shè)計(jì)和訪問它的查詢。在本月的專欄中,我將講述四項(xiàng)技術(shù),這些技術(shù)可用于提高基于 sql server? 的應(yīng)用程序的性能或改善其可伸縮性。我將仔細(xì)說明 left join、cross join 的使用以及 identity 值的檢索。請記住,根本沒有神奇的解決方案。調(diào)整您的數(shù)據(jù)庫及其查詢需要占用時(shí)間、進(jìn)行分析,還需要大量的測試。這些技術(shù)都已被證明行之有效,但對您的應(yīng)用程序而言,可能其中一些技術(shù)比另一些技術(shù)更適用。
我決定從遇到許多問題的內(nèi)容入手:如何在執(zhí)行 sql insert 后檢索 identity 值。通常,問題不在于如何編寫檢索值的查詢,而在于在哪里以及何時(shí)進(jìn)行檢索。在 sql server 中,下面的語句可用于檢索由最新在活動數(shù)據(jù)庫連接上運(yùn)行的 sql 語句所創(chuàng)建的 identity 值:
select @@identity
這個(gè) sql 語句并不復(fù)雜,但需要記住的一點(diǎn)是:如果這個(gè)最新的 sql 語句不是 insert,或者您針對非 insert sql 的其他連接運(yùn)行了此 sql,則不會獲得期望的值。您必須運(yùn)行下列代碼才能檢索緊跟在 insert sql 之后且位于同一連接上的 identity,如下所示:
insert into products (productname) values ('chalk')select @@identity在一個(gè)連接上針對 northwind 數(shù)據(jù)庫運(yùn)行這些查詢將返回一個(gè)名稱為 chalk 的新產(chǎn)品的 identity 值。所以,在使用 ado 的 visual basic? 應(yīng)用程序中,可以運(yùn)行以下語句:
set ors = ocn.execute("set nocount on;insert into products _(productname) values ('chalk');select @@identity")lproductid = ors(0)此代碼告訴 sql server 不要返回查詢的行計(jì)數(shù),然后執(zhí)行 insert 語句,并返回剛剛為這個(gè)新行創(chuàng)建的 identity 值。set nocount on 語句表示返回的記錄集有一行和一列,其中包含了這個(gè)新的 identity 值。如果沒有此語句,則會首先返回一個(gè)空的記錄集(因?yàn)?insert 語句不返回任何數(shù)據(jù)),然后會返回第二個(gè)記錄集,第二個(gè)記錄集中包含 identity 值。這可能有些令人困惑,尤其是因?yàn)槟鷱膩砭蜎]有希望過 insert 會返回記錄集。之所以會發(fā)生此情況,是因?yàn)?sql server 看到了這個(gè)行計(jì)數(shù)(即一行受到影響)并將其解釋為表示一個(gè)記錄集。因此,真正的數(shù)據(jù)被推回到了第二個(gè)記錄集。當(dāng)然您可以使用 ado 中的 nextrecordset 方法獲取此第二個(gè)記錄集,但如果總能夠首先返回該記錄集且只返回該記錄集,則會更方便,也更有效率。
此方法雖然有效,但需要在 sql 語句中額外添加一些代碼。獲得相同結(jié)果的另一方法是在 insert 之前使用 set nocount on 語句,并將 select @@identity 語句放在表中的 for insert 觸發(fā)器中,如下面的代碼片段所示。這樣,任何進(jìn)入該表的 insert 語句都將自動返回 identity 值。
create trigger trproducts_insert on products for insert as select @@identity go
觸發(fā)器只在 products 表上發(fā)生 insert 時(shí)啟動,所以它總是會在成功 insert 之后返回一個(gè) identity。使用此技術(shù),您可以始終以相同的方式在應(yīng)用程序中檢索 identity 值。
某些時(shí)候,查詢需要將數(shù)據(jù)與其他一些可能只能通過執(zhí)行 group by 然后執(zhí)行標(biāo)準(zhǔn)查詢才能收集的數(shù)據(jù)進(jìn)行聯(lián)接。例如,如果要查詢最新五個(gè)定單的有關(guān)信息,您首先需要知道是哪些定單。這可以使用返回定單 id 的 sql 查詢來檢索。此數(shù)據(jù)就會存儲在臨時(shí)表(這是一個(gè)常用技術(shù))中,然后與 products 表進(jìn)行聯(lián)接,以返回這些定單售出的產(chǎn)品數(shù)量:
create table #temp1 (orderid int not null, _ orderdate datetime not null)insert into #temp1 (orderid, orderdate)select top 5 o.orderid, o.orderdatefrom orders o order by o.orderdate descselect p.productname, sum(od.quantity) as productquantityfrom #temp1 t inner join [order details] od on t.orderid = od.orderid inner join products p on od.productid = p.productid group by p.productnameorder by p.productnamedrop table #temp1
這些 sql 語句會創(chuàng)建一個(gè)臨時(shí)表,將數(shù)據(jù)插入該表中,將其他數(shù)據(jù)與該表進(jìn)行聯(lián)接,然后除去該臨時(shí)表。這會導(dǎo)致此查詢進(jìn)行大量 i/o 操作,因此,可以重新編寫查詢,使用內(nèi)嵌視圖取代臨時(shí)表。內(nèi)嵌視圖只是一個(gè)可以聯(lián)接到 from 子句中的查詢。所以,您不用在 tempdb 中的臨時(shí)表上耗費(fèi)大量 i/o 和磁盤訪問,而可以使用內(nèi)嵌視圖得到同樣的結(jié)果:
select p.productname, sum(od.quantity) as productquantityfrom ( select top 5 o.orderid, o.orderdate from orders o order by o.orderdate desc ) t inner join [order details] od on t.orderid = od.orderid inner join products p on od.productid = p.productid group by p.productnameorder by p.productname
此查詢不僅比前面的查詢效率更高,而且長度更短。臨時(shí)表會消耗大量資源。如果只需要將數(shù)據(jù)聯(lián)接到其他查詢,則可以試試使用內(nèi)嵌視圖,以節(jié)省資源。
當(dāng)然,有很多時(shí)候您需要執(zhí)行 left join 和使用 null 值。但是,它們并不適用于所有情況。改變 sql 查詢的構(gòu)建方式可能會產(chǎn)生將一個(gè)花幾分鐘運(yùn)行的報(bào)告縮短到只花幾秒鐘這樣的天壤之別的效果。有時(shí),必須在查詢中調(diào)整數(shù)據(jù)的形態(tài),使之適應(yīng)應(yīng)用程序所要求的顯示方式。雖然 table 數(shù)據(jù)類型會減少大量占用資源的情況,但在查詢中還有許多區(qū)域可以進(jìn)行優(yōu)化。sql 的一個(gè)有價(jià)值的常用功能是 left join。它可以用于檢索第一個(gè)表中的所有行、第二個(gè)表中所有匹配的行、以及第二個(gè)表中與第一個(gè)表不匹配的所有行。例如,如果希望返回每個(gè)客戶及其定單,使用 left join 則可以顯示有定單和沒有定單的客戶。
此工具可能會被過度使用。left join 消耗的資源非常之多,因?yàn)樗鼈儼c null(不存在)數(shù)據(jù)匹配的數(shù)據(jù)。在某些情況下,這是不可避免的,但是代價(jià)可能非常高。left join 比 inner join 消耗資源更多,所以如果您可以重新編寫查詢以使得該查詢不使用任何 left join,則會得到非常可觀的回報(bào)(請參閱圖 1 中的圖)。
圖 1 查詢
加快使用 left join 的查詢速度的一項(xiàng)技術(shù)涉及創(chuàng)建一個(gè) table 數(shù)據(jù)類型,插入第一個(gè)表(left join 左側(cè)的表)中的所有行,然后使用第二個(gè)表中的值更新 table 數(shù)據(jù)類型。此技術(shù)是一個(gè)兩步的過程,但與標(biāo)準(zhǔn)的 left join 相比,可以節(jié)省大量時(shí)間。一個(gè)很好的規(guī)則是嘗試各種不同的技術(shù)并記錄每種技術(shù)所需的時(shí)間,直到獲得用于您的應(yīng)用程序的執(zhí)行性能最佳的查詢。
測試查詢的速度時(shí),有必要多次運(yùn)行此查詢,然后取一個(gè)平均值。因?yàn)椴樵儯ɑ虼鎯^程)可能會存儲在 sql server 內(nèi)存中的過程緩存中,因此第一次嘗試耗費(fèi)的時(shí)間好像稍長一些,而所有后續(xù)嘗試耗費(fèi)的時(shí)間都較短。另外,運(yùn)行您的查詢時(shí),可能正在針對相同的表運(yùn)行其他查詢。當(dāng)其他查詢鎖定和解鎖這些表時(shí),可能會導(dǎo)致您的查詢要排隊(duì)等待。例如,如果您進(jìn)行查詢時(shí)某人正在更新此表中的數(shù)據(jù),則在更新提交時(shí)您的查詢可能需要耗費(fèi)更長時(shí)間來執(zhí)行。
避免使用 left join 時(shí)速度降低的最簡單方法是盡可能多地圍繞它們設(shè)計(jì)數(shù)據(jù)庫。例如,假設(shè)某一產(chǎn)品可能具有類別也可能沒有類別。如果 products 表存儲了其類別的 id,而沒有用于某個(gè)特定產(chǎn)品的類別,則您可以在字段中存儲 null 值。然后您必須執(zhí)行 left join 來獲取所有產(chǎn)品及其類別。您可以創(chuàng)建一個(gè)值為“no category”的類別,從而指定外鍵關(guān)系不允許 null 值。通過執(zhí)行上述操作,現(xiàn)在您就可以使用 inner join 檢索所有產(chǎn)品及其類別了。雖然這看起來好像是一個(gè)帶有多余數(shù)據(jù)的變通方法,但可能是一個(gè)很有價(jià)值的技術(shù),因?yàn)樗梢韵?sql 批處理語句中消耗資源較多的 left join。在數(shù)據(jù)庫中全部使用此概念可以為您節(jié)省大量的處理時(shí)間。請記住,對于您的用戶而言,即使幾秒鐘的時(shí)間也非常重要,因?yàn)楫?dāng)您有許多用戶正在訪問同一個(gè)聯(lián)機(jī)數(shù)據(jù)庫應(yīng)用程序時(shí),這幾秒鐘實(shí)際上的意義會非常重大。
對于此技巧,我將進(jìn)行非常詳細(xì)的介紹,并提倡在某些情況下使用笛卡爾乘積。出于某些原因,笛卡爾乘積 (cross join) 遭到了很多譴責(zé),開發(fā)人員通常會被警告根本就不要使用它們。在許多情況下,它們消耗的資源太多,從而無法高效使用。但是像 sql 中的任何工具一樣,如果正確使用,它們也會很有價(jià)值。例如,如果您想運(yùn)行一個(gè)返回每月數(shù)據(jù)(即使某一特定月份客戶沒有定單也要返回)的查詢,您就可以很方便地使用笛卡爾乘積。 圖 2 中的 sql 就執(zhí)行了上述操作。
雖然這看起來好像沒什么神奇的,但是請考慮一下,如果您從客戶到定單(這些定單按月份進(jìn)行分組并對銷售額進(jìn)行小計(jì))進(jìn)行了標(biāo)準(zhǔn)的 inner join,則只會獲得客戶有定單的月份。因此,對于客戶未訂購任何產(chǎn)品的月份,您不會獲得 0 值。如果您想為每個(gè)客戶都繪制一個(gè)圖,以顯示每個(gè)月和該月銷售額,則可能希望此圖包括月銷售額為 0 的月份,以便直觀標(biāo)識出這些月份。如果使用 圖 2 中的 sql,數(shù)據(jù)則會跳過銷售額為 0 美元的月份,因?yàn)樵诙▎伪碇袑τ诹沅N售額不會包含任何行(假設(shè)您只存儲發(fā)生的事件)。
圖 3 中的代碼雖然較長,但是可以達(dá)到獲取所有銷售數(shù)據(jù)(甚至包括沒有銷售額的月份)的目標(biāo)。首先,它會提取去年所有月份的列表,然后將它們放入第一個(gè) table 數(shù)據(jù)類型表 (@tblmonths) 中。下一步,此代碼會獲取在該時(shí)間段內(nèi)有銷售額的所有客戶公司的名稱列表,然后將它們放入另一個(gè) table 數(shù)據(jù)類型表 (@tblcus-tomers) 中。這兩個(gè)表存儲了創(chuàng)建結(jié)果集所必需的所有基本數(shù)據(jù),但實(shí)際銷售數(shù)量除外。 第一個(gè)表中列出了所有月份(12 行),第二個(gè)表中列出了這個(gè)時(shí)間段內(nèi)有銷售額的所有客戶(對于我是 81 個(gè))。并非每個(gè)客戶在過去 12 個(gè)月中的每個(gè)月都購買了產(chǎn)品,所以,執(zhí)行 inner join 或 left join 不會返回每個(gè)月的每個(gè)客戶。這些操作只會返回購買產(chǎn)品的客戶和月份。
笛卡爾乘積則可以返回所有月份的所有客戶。笛卡爾乘積基本上是將第一個(gè)表與第二個(gè)表相乘,生成一個(gè)行集合,其中包含第一個(gè)表中的行數(shù)與第二個(gè)表中的行數(shù)相乘的結(jié)果。因此,笛卡爾乘積會向表 @tblfinal 返回 972 行。最后的步驟是使用此日期范圍內(nèi)每個(gè)客戶的月銷售額總計(jì)更新 @tblfinal 表,以及選擇最終的行集。
如果由于笛卡爾乘積占用的資源可能會很多,而不需要真正的笛卡爾乘積,則可以謹(jǐn)慎地使用 cross join。例如,如果對產(chǎn)品和類別執(zhí)行了 cross join,然后使用 where 子句、distinct 或 group by 來篩選出大多數(shù)行,那么使用 inner join 會獲得同樣的結(jié)果,而且效率高得多。如果需要為所有的可能性都返回?cái)?shù)據(jù)(例如在您希望使用每月銷售日期填充一個(gè)圖表時(shí)),則笛卡爾乘積可能會非常有幫助。但是,您不應(yīng)該將它們用于其他用途,因?yàn)樵诖蠖鄶?shù)方案中 inner join 的效率要高得多。
這里介紹其他一些可幫助提高 sql 查詢效率的常用技術(shù)。假設(shè)您將按區(qū)域?qū)λ袖N售人員進(jìn)行分組并將他們的銷售額進(jìn)行小計(jì),但是您只想要那些數(shù)據(jù)庫中標(biāo)記為處于活動狀態(tài)的銷售人員。您可以按區(qū)域?qū)︿N售人員分組,并使用 having 子句消除那些未處于活動狀態(tài)的銷售人員,也可以在 where 子句中執(zhí)行此操作。在 where 子句中執(zhí)行此操作會減少需要分組的行數(shù),所以比在 having 子句中執(zhí)行此操作效率更高。having 子句中基于行的條件的篩選會強(qiáng)制查詢對那些在 where 子句中會被去除的數(shù)據(jù)進(jìn)行分組。
另一個(gè)提高效率的技巧是使用 distinct 關(guān)鍵字查找數(shù)據(jù)行的單獨(dú)報(bào)表,來代替使用 group by 子句。在這種情況下,使用 distinct 關(guān)鍵字的 sql 效率更高。請?jiān)谛枰?jì)算聚合函數(shù)(sum、count、max 等)的情況下再使用 group by。另外,如果您的查詢總是自己返回一個(gè)唯一的行,則不要使用 distinct 關(guān)鍵字。在這種情況下,distinct 關(guān)鍵字只會增加系統(tǒng)開銷。
您已經(jīng)看到了,有大量技術(shù)都可用于優(yōu)化查詢和實(shí)現(xiàn)特定的業(yè)務(wù)規(guī)則,技巧就是進(jìn)行一些嘗試,然后比較它們的性能。最重要的是要測試、測試、再測試。在此專欄的將來各期內(nèi)容中,我將繼續(xù)深入講述 sql server 概念,包括數(shù)據(jù)庫設(shè)計(jì)、好的索引實(shí)踐以及 sql server 安全范例。
新聞熱點(diǎn)
疑難解答
圖片精選