聯機分析處理系統概述
2024-07-21 02:08:50
供稿：網友
聯機分析處理概述發展背景
隨著數據庫技術的廣泛應用，企業信息系統產生了大量的數據，如何從這些海量數據中提取對企業決策分析有用的信息成為企業決策管理人員所面臨的重要難題。傳統的企業數據庫系統（管理信息系統）即聯機事務處理系統（on-line transaction processing,簡稱oltp）作為數據管理手段，主要用于事務處理，但它對分析處理的支持一直不能令人滿意。因此，人們逐漸嘗試對oltp數據庫中的數據進行再加工，形成一個綜合的、面向分析的、更好的支持決策制定的決策支持系統（decision support system，簡稱dss）。企業目前的信息系統的數據一般由dbms管理，但決策數據庫和運行操作數據庫在數據來源、數據內容、數據模式、服務對象、訪問方式、事務管理乃至無力存儲等方面都有不同的特點和要求，因此直接在運行操作的數據庫上建立dss是不合適的。數據倉庫（datawarehouse）技術就是在這樣的背景下發展起來的。數據倉庫的概念提出于20世紀80年代中期，20世紀90年代，數據倉庫已從早起的探索階段走向實用階段。業界公認的數據倉庫概念創始人w.h.inmon在《building the datawarehouse》一書中對數據倉庫的定義是：“數據倉庫是支持管理決策過程的、面向主題的、集成的、隨時間變化的持久的數據集合”。構建數據倉庫的過程就是根據預先設計好的邏輯模式從分布在企業內部各處的oltp數據庫中提取數據并對經過必要的變換最終形成全企業統一模式數據的過程。當前數據倉庫的核心仍是rdbms管理下的一個數據庫系統。數據倉庫中數據量巨大，為了提高性能，rdbms一般也采取一些提高效率的措施：采用并行處理結構、新的數據組織、查詢策略、索引技術等等。
包括聯機分析處理（on-line analytical processing，簡稱olap）在內的諸多應用牽引驅動了數據倉庫技術的出現和發展；而數據倉庫技術反過來又促進了olap技術的發展。聯機分析處理的概念最早由關系數據庫之父e.f.codd于1993年提出的。codd認為聯機事務處理（oltp）已不能滿足終端用戶對數據庫查詢分析的要求，sql對大數據庫的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關系數據庫進行大量計算才能得到結果，而查詢的結果并不能滿足決策者提出的需求。因此，codd提出了多維數據庫和多維分析的概念，即olap。olap委員會對聯機分析處理的定義為：使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真實反映企業維特性的信息進行快速、一致、交互地存取，從而獲得對數據的更深入了解的一類軟件技術。olap的目標是滿足決策支持或多維環境特定的查詢和報表需求，它的技術核心是“維”這個概念，因此olap也可以說是多維數據分析工具的集合。
olap與oltp
olap最終的數據來源與oltp一樣，均來自底層的數據庫系統，但二者面對的用戶群不同，數據內容的特點也不同。兩者的區別概述如下表所示：
oltp數據 olap數據
原始數據 導出數據
細節性數據 綜合性和提煉性數據
當前值數據 歷史數據
可更新 不可更新，但周期性刷新
一次處理的數據量小 一次處理的數據量大
面向應用，事務驅動 面向分析，分析驅動
面向操作人員，支持日常操作 面向決策人員，支持管理需要
olap的特點和評價準則
olap的特點可以用五個關鍵字來代表：fast analysis of shared multidimentional information（fasmi,共享多維信息的快速分析）。這也是設計人員或管理人員用來判斷一個olap設計是否成功的準則。
fast：系統響應用戶的時間要相當快捷，要達到這個目標，數據庫的模式應該朝著更廣泛的技術發展，包括特殊的數據存儲格式，預先計算和硬件配置等。
analysis：系統應能處理與應用有關的任何邏輯分析和統計分析，用戶無需編程就可以定義新的專門計算,將其作為分析的一部分,并以用戶理想的方式給出報告。用戶可以在olap平臺上進行數據分析,也可以連接到其他外部分析工具上，同時應提供靈活開放的報表處理功能，以保存分析結果。
shared：這意味著系統要能夠符合數據保密的安全要求，即使多個用戶同時使用，也能夠根據用戶所屬的安全級別，讓他們只能看到他們應該看到的信息。
multidimensional：olap的顯著待征就是它能提供數據的多維視圖系統必須提供對數據分析的多維視圖和分析,包括對層次維和多重層次維的完全支持。
information: 不論數據量有多大,也不管數據存儲在何處,ｏｌａｐ系統應能及時獲得信息,并且管理大容量信息。這里有許多因素需要考慮,如數據的可復制性、可利用的磁盤空間、ｏｌａｐ產品的性能及與數據倉庫的結合度等。
olap邏輯概念和典型操作
olap展現在用戶面前的是一幅幅多維視圖。
維（dimension）：是人們觀察數據的特定角度，是考慮問題時的一類屬性，屬性集合構成一個維（時間維、地理維等）。
維的層次（level）：人們觀察數據的某個特定角度（即某個維）還可以存在細節程度不同的各個描述方面（時間維：日期、月份、季度、年）。
維的成員（member）：維的一個取值，是數據項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）。
度量（measure）：多維數組的取值。（2000年1月，上海，筆記本電腦，$100000）。
olap的基本多維分析操作有鉆?。╠rill-up和drill-down）、切片（slice）和切塊（dice）、以及旋轉（pivot）等。
鉆?。菏歉淖兙S的層次，變換分析的粒度。它包括向下鉆?。╠rill-down）和向上鉆?。╠rill-up）/上卷(roll-up)
。drill-up是在某一維上將低層次的細節數據概括到高層次的匯總數據，或者減少維數；而drill-down則相反，它從匯總數據深入到細節數據進行觀察或增加新維。
切片和切塊：是在一部分維上選定值后，關心度量數據在剩余維上的分布。如果剩余的維只有兩個，則是切片；如果有三個或以上，則是切塊。
旋轉：是變換維的方向，即在表格中重新安排維的放置（例如行列互換）。
olap系統的體系結構和分類
數據倉庫與olap的關系是互補的，現代olap系統一般以數據倉庫作為基礎，即從數據倉庫中抽取詳細數據的一個子集并經過必要的聚集存儲到olap存儲器中供前端分析工具讀取。典型的olap系統體系結構如下圖所示：
olap系統按照其存儲器的數據存儲格式可以分為關系olap（relational olap，簡稱rolap）、多維olap（multidimensional olap，簡稱molap）和混合型olap（hybrid olap，簡稱holap）三種類型。
1. rolap
rolap將分析用的多維數據存儲在關系數據庫中并根據應用的需要有選擇的定義一批實視圖作為表也存儲在關系數據庫中。不必要將每一個sql查詢都作為實視圖保存，只定義那些應用頻率比較高、計算工作量比較大的查詢作為實視圖。對每個針對olap服務器的查詢，優先利用已經計算好的實視圖來生成查詢結果以提高查詢效率。同時用作rolap存儲器的rdbms也針對olap作相應的優化，比如并行存儲、并行查詢、并行數據管理、基于成本的查詢優化、位圖索引、sql 的olap擴展(cube,rollup)等等。
2. molap
molap將olap分析所用到的多維數據物理上存儲為多維數組的形式，形成“立方體”的結構。維的屬性值被映射成多維數組的下標值或下標的范圍，而總結數據作為多維數組的值存儲在數組的單元中。由于molap采用了新的存儲結構，從物理層實現起，因此又稱為物理olap（physical olap）；而rolap主要通過一些軟件工具或中間軟件實現，物理層仍采用關系數據庫的存儲結構，因此稱為虛擬olap（virtual olap）。
3. holap
由于molap和rolap有著各自的優點和缺點（如下表所示）,且它們的結構迥然不同，這給分析人員設計olap結構提出了難題。為此一個新的olap結構——混合型olap（holap）被提出，它能把molap和rolap兩種結構的優點結合起來。迄今為止，對holap還沒有一個正式的定義。但很明顯，holap結構不應該是molap與rolap結構的簡單組合，而是這兩種結構技術優點的有機結合，能滿足用戶各種復雜的分析請求。
rolapmolap
沿用現有的關系數據庫的技術
專為olap所設計
響應速度比molap慢；
現有關系型數據庫已經對olap做了很多優化，包括并行存儲、并行查詢、并行數據管理、基于成本的查詢優化、位圖索引、sql 的olap擴展(cube,rollup)等，性能有所提高
性能好、響應速度快
數據裝載速度快
數據裝載速度慢
存儲空間耗費小，維數沒有限制
需要進行預計算,可能導致數據爆炸，維數有限；無法支持維的動態變化
借用rdbms存儲數據，沒有文件大小限制
受操作系統平臺中文件大小的限制，難以達到tb 級(只能10~20g)
可以通過sql實現詳細數據與概要數據的存儲
缺乏數據模型和數據訪問的標準
–不支持有關預計算的讀寫操作
–sql無法完成部分計算
•無法完成多行的計算
•無法完成維之間的計算
–支持高性能的決策支持計算
•復雜的跨維計算
•多用戶的讀寫操作
•行級的計算
維護困難
管理簡便
主要olap廠商產品介紹
hyperion
hyperion essbase olap server，在上面有超過100個的應用程序，有300多個用essbase作為平臺的開發商。具有幾百個計算公式，支持過程的腳本預言，及統計和基于維的計算。
強大的olap查詢能力，利用essbase query designer，商業用戶可以不用it人員的幫助自己構件復雜的查詢。
廣泛的應用支持，可以擴展數據倉庫和erp系統的價值，建立對電子商務、crm、金融、制造業、零售和cpg（consumer packaged goods）等應用的分析程序。
speed-of-thought的響應時間，支持多用戶同時讀寫
web-enabled的，以服務器為中心的體系結構，支持smp
強大的合作伙伴提供完整的解決方案，60多個包裝好的解決方案，300多個咨詢和實施公司。
豐富的前端工具，有30多個前端工具可供選擇，其中包括hyperion自己的wired for olap、spider-man web application、objects、essbase spreadsheet add-in、web gateway 、 reporting 。
hyperion enterprise，為跨國公司提供的財務整合、報告和分析的解決方案。有3000多家組織在使用此套系統。
功能豐富：支持多種財務標準us gaap，canadian gaap，uk gaap，國際會計標準（isa），fasb，hgb。分公司間交易的自動平帳。fas52貨幣轉換。fas94。
易用：可通過excel，lotus 1-2-3和各種瀏覽器訪問系統。
支持公司結構的調整。
跨國公司的支持：同時支持6種語言及各個不同國家的法律和稅收要求。
完整的過程控制和審計跟蹤，及安全等級的設置。
能與erp或其他數據源集成
hyperion pillar，預算和計劃工具。全球用戶超過1500家，提供基于活動的預算，基于項目的計劃，集中式計劃，銷售預測和綜合計劃。
分布式體系結構
詳細計劃的制訂：允許一線經理制訂詳細的計劃
復雜的建模和分析能力
oracle
express server提供全面的olap能力，有全球超過3000家用戶
用戶可通過web和電子表格使用
靈活的數據組織方式，數據可以存放在express server內，也可直接在rdb上使用
有內建的分析函數和4gl來用戶自己定制查詢
cognos
powerplay，為商務效率評價bpm（business performance measurement）提供全面的報告和分析環境。向決策者提供企業運行效率的各種關鍵數據，進行各種各樣的分析。
只用鼠標點擊、拖拉就可以瀏覽多維數據
自動利用web發布得到的分析報告
支持多種olap server：microsoft olap services、hyperion essbase、sap bw、ibm olap for db2
完備的授權和安全體系
novaview，是microsoft sql server 7.0 olap services的客戶端應用程序。
microstrategy
microstrategy 7，是新一代的智能平臺（intelligence platform）面向電子商務應用e-business和電子客戶關系管理ecrm。
具有強大的分析能力
以web為中心的界面
支持上百萬的用戶和tb的數據
快速開發能力，可直接利用已有的數據模式
intelligence server，one for all analytic applications
microsoft
sql server 7.0 olap services，是sql server 7.0的olap模塊，可以使用任何關系數據庫或平面文件作為數據源，其中的pivottable service提供了客戶端的數據緩存和計算能力。
智能的client/server數據管理，提高響應速度，降低網絡流量
通過ole db for olap，允許不同的客戶端訪問
businessobjects
businessobjects，是易用的bi工具，允許用戶存取、分析和共享數據。
可應用多種數據源：rdb，erp，olap，excel等
可應用vba和開放式對象模型來進行開發定制
ibm
db2 olap server，是強大的多維分析工具，把hyperion essbase的olap引擎和db2的關系數據庫集成在一起。
與essbase api完全兼容
數據用星型模型存放在關系數據庫db2中
brio
brio.enterprise，是強大的易用的bi工具，提供查詢，olap分析和報告的能力
支持多種語言，包括中文
brio.report，強大的企業級報告工具
olap相關標準
apb-1 olap benchmark release ii(sponsored by olap council)
the benchmark simulates a realistic olap (on-line analytical processing) business situation that exercises server-based software. the goal of the apb-1 is to measure a server's overall olap performance rather than the performance of specific tasks. to ensure the relevance of the apb-1 to actual business environments, the operations performed on the database have been carefully chosen to reflect common business operations. for the purposes of comparing the performance of different combinations of hardware and software, a standard benchmark metric called aqm (analytical queries per minute) instead of aqt (analytical queries time) has been defined.
