在當今信息密集的環(huán)境下,對于數(shù)據(jù)倉庫的需求日益增長。的確,眾多的應用程序,如CRM、ERP、信息門戶網(wǎng)站以及商務智能解決方案等,都要求得到數(shù)據(jù)倉庫的支持。
數(shù)據(jù)倉庫平臺的實施,再與企業(yè)信息集成(EII)軟件相結(jié)合,就可為組織的內(nèi)外部信息提供更好的訪問,進而促進更快、更好的決策制定。
Aberdeen 集團把EII定義為“在公司級或企業(yè)級上把離散數(shù)據(jù)源結(jié)合起來的軟件,以全新的方式提交、分析或修改數(shù)據(jù),為應用程序提供支持”,相對于傳統(tǒng)的數(shù)據(jù)倉庫,EII具有一些獨到優(yōu)點:
·在特定方式下傳送實時數(shù)據(jù)的功能
·較早地將有價值的服務交付企業(yè),降低項目風險
·靈活易變,以適應緊急業(yè)務需要
·明顯的交接機制,可以清楚了解進展
切實的成本減少以及迅速的投資回報
雖然超出了本文范圍,但其中必須予以重視的一點是:在數(shù)據(jù)倉庫的創(chuàng)建及維護過程中,應當有一個數(shù)據(jù)質(zhì)量策略。這一點對于任何增強數(shù)據(jù)倉庫的EII解決方案來說也是同樣要求的,選擇有很多:最好的實施方案以便在源頭對數(shù)據(jù)進行清理,或是啟發(fā)式的工具,既可在轉(zhuǎn)換時進行清理,又可在把數(shù)據(jù)倉庫中的數(shù)據(jù)裝載到數(shù)據(jù)集市時進行清理。
元數(shù)據(jù)管理是另一極為重要的方面,已被廣泛認為是成功實施數(shù)據(jù)倉庫的關鍵。數(shù)據(jù)工程師在整體數(shù)據(jù)模型的基礎上,運用建模技術來設計數(shù)據(jù)倉庫的結(jié)構(gòu),在建模時,應根據(jù)對數(shù)據(jù)倉庫的業(yè)務需求來考慮應采用的數(shù)據(jù)工具。這里主要是指傳統(tǒng)的ETL工具,它們可以迅速的傳送大量數(shù)據(jù),并且轉(zhuǎn)換成可用格式以便裝載到新創(chuàng)建的數(shù)據(jù)倉庫中。
事實上,根據(jù)決策、分析或應用程序的需要將數(shù)據(jù)存入數(shù)據(jù)倉庫以備實時訪問時,放入所有的數(shù)據(jù)并沒有多大意義,這就是EII軟件為什么會出現(xiàn)的原因,特別是在模型驅(qū)動的解決方案中。通過對數(shù)據(jù)建模,可以得出數(shù)據(jù)架構(gòu)的結(jié)論,以決定載入何種數(shù)據(jù)以及在特定方式下將用到何種數(shù)據(jù)。最好解決方案能有一個元數(shù)據(jù)庫,以及允許建立大量數(shù)據(jù)模型的能力。這些模型中有一個是用來創(chuàng)建數(shù)據(jù)倉庫的,而其它的則是用于驅(qū)動數(shù)據(jù)返回引擎的,以便創(chuàng)建某種企業(yè)視圖。這意味著,最好是既擁有數(shù)據(jù)倉庫以存儲歷史資料和保護運作系統(tǒng),又具備根據(jù)需要及時訪問數(shù)據(jù)倉庫以外數(shù)據(jù)的能力。
既然對企業(yè)隨時所需的各種信息進行預料是不可能的,那么當需要時對整個組織的各種數(shù)據(jù)進行快速訪問的能力就顯得至關重要了,而對于業(yè)務用戶的信息需求進行快速建模的能力,可以使公司適應快速變化的業(yè)務需求。
按需時實數(shù)據(jù)訪問的體系結(jié)構(gòu)
此鐘結(jié)構(gòu)基于下述要求:
·一個中心數(shù)據(jù)庫,以便為所有可用信息資產(chǎn)提供在線目錄
·一組全面的、集成的信息視圖
·為決策所需信息提供簡便的返回方式
完善的應用程序、門戶網(wǎng)站產(chǎn)品、報告及商務智能工具、對迅速生成特定報告所需信息的快速建模及重建模能力
可滿足現(xiàn)存報告及分析流程的靈活環(huán)境
對多變的業(yè)務需求的快速支持,同時需考慮到高度的可用性、性能及可伸縮性
從舊系統(tǒng)、關系數(shù)據(jù)庫、實時供給以及其它來自供應鏈伙伴的數(shù)據(jù)源中直接抽取數(shù)據(jù)的能力
通過有選擇地將那些不需實時的數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)倉庫,使運作系統(tǒng)減輕負擔
另外,任何的實時數(shù)據(jù)管理系統(tǒng)還應該符合以下的關鍵標準:
水平可伸縮性,可通過另外增加軟硬件資源來解決數(shù)據(jù)量增長及指標增加問題
基于標準的組件,用于提供開放的、適應未來發(fā)展的基礎設施
適應能力強的功能及性能
向基于“購買而非自建”解決方案的市場領先者購買的組件
實時數(shù)據(jù)管理在數(shù)據(jù)倉庫和其它系統(tǒng)之間搭起了橋梁,可以隨時根據(jù)需要抽取數(shù)據(jù)生成集成視圖,它跨越了數(shù)據(jù)倉庫、歷史記錄、快照數(shù)據(jù)和實時運作數(shù)據(jù),以便時實地回答特定問題和監(jiān)視業(yè)務性能。
這種體系結(jié)構(gòu)可以有選擇地將某些報告功能轉(zhuǎn)交給數(shù)據(jù)倉庫,并為分析及決策提供報告工具和商務智能工具,進而提高運作系統(tǒng)性能。對于時間敏感型的動態(tài)數(shù)據(jù)則可在需要時隨時進行時實訪問。
數(shù)據(jù)倉庫的數(shù)據(jù)建模及裝載
全部數(shù)據(jù)源包括關系型、時實、舊系統(tǒng)、EAI工具、ASCII文件等,在建模時作為輸入數(shù)據(jù)源,另外,轉(zhuǎn)換和處理在建模時則只是邏輯上進行數(shù)據(jù)清理,而不需對數(shù)據(jù)進行物理操作。
在此階段,可以看作存在著一個巨大的虛擬關系數(shù)據(jù)庫,其中不但存儲了所有的運作數(shù)據(jù),還存儲了全部經(jīng)過轉(zhuǎn)換、清理及過濾的數(shù)據(jù)。這個虛擬數(shù)據(jù)庫可用于向數(shù)據(jù)倉庫填充數(shù)據(jù),或向某個在數(shù)據(jù)源頭用來進行數(shù)據(jù)清理的ETL工具提供數(shù)據(jù)。
下述幾個重要措施是必需的:
1. 分析數(shù)據(jù)需求。確定所需的數(shù)據(jù)以及恰當?shù)倪B接器。
2. 對物理數(shù)據(jù)和虛擬數(shù)據(jù)進行建模。物理數(shù)據(jù)源包括數(shù)據(jù)倉庫,而虛擬數(shù)據(jù)庫即是指跨越各種物理數(shù)據(jù)源的集成視圖(其中一個虛擬數(shù)據(jù)庫可能會類似于數(shù)據(jù)倉庫,以助于裝載數(shù)據(jù))。
3. 配置。配置連接器并啟動它們,為虛擬數(shù)據(jù)庫命名,并指出實施物理數(shù)據(jù)源的連接器,然后激活虛擬數(shù)據(jù)庫。
4. 將數(shù)據(jù)裝入數(shù)據(jù)倉庫。用一個簡單的程序來訪問虛擬數(shù)據(jù)庫并將數(shù)據(jù)裝入數(shù)據(jù)倉庫,也可以用專門的ETL工具來填充數(shù)據(jù)倉庫。
5. 跨越數(shù)據(jù)倉庫和其它系統(tǒng)訪問數(shù)據(jù)。數(shù)據(jù)倉庫既是原始和運作數(shù)據(jù)的虛擬數(shù)據(jù)庫,又是連接了物理數(shù)據(jù)倉庫與原始及運作系統(tǒng)的虛擬數(shù)據(jù)庫,因此匯總資料和明細資料將可同時返回。
最終,在技術部門真正裝載數(shù)據(jù)之前就可以對數(shù)據(jù)倉庫進行訪問了,就像數(shù)據(jù)已經(jīng)存在于數(shù)據(jù)倉庫中一樣。許多數(shù)據(jù)源與數(shù)據(jù)倉庫是完全不相容的,通過對EII的結(jié)合運用,就可允許它們保持原始存儲形態(tài),同時又能作為虛擬部分加入到數(shù)據(jù)倉庫中來。
傳統(tǒng)的數(shù)據(jù)倉庫方法提供了數(shù)據(jù)快照,這是通過定期的從歷史信息中抽取數(shù)據(jù)實現(xiàn)的,以反映數(shù)據(jù)的變化情況。數(shù)據(jù)倉庫須存儲歷史明細數(shù)據(jù)以支持分析和預測,另外,數(shù)據(jù)倉庫的設計應支持高效的特定查詢,支持用戶從報告中鉆取明細數(shù)據(jù),數(shù)據(jù)倉庫對數(shù)據(jù)的獲取是通過每天、每周及每月的裝載,并且要對明細數(shù)據(jù)在線維護大約兩年的時間。由于大多數(shù)變化都出現(xiàn)在EII工具的抽象數(shù)據(jù)模型內(nèi),因此極少或根本不用對所需的轉(zhuǎn)換程序進行重編碼。當源系統(tǒng)中增加(或修改)了產(chǎn)品、客戶、地區(qū)時,數(shù)據(jù)倉庫與EII一起使所發(fā)生的變化達到最小,這種活動對裝載及轉(zhuǎn)換流程、數(shù)據(jù)庫設計、報告或用戶界面等影響極小。數(shù)據(jù)倉庫還將支持統(tǒng)計應用,可對明細數(shù)據(jù)進行抽樣和挖掘。
數(shù)據(jù)結(jié)構(gòu)以及模型中的版本都應同時保留原版和修訂版,這可確保那些基于舊數(shù)據(jù)結(jié)構(gòu)(模型)的報告當結(jié)構(gòu)更新時依然得到支持。
具有圖形用戶界面的數(shù)據(jù)建模工具將與數(shù)據(jù)倉庫快速、高效的設計和配置相結(jié)合,向?qū)?qū)動的流程(元數(shù)據(jù)驅(qū)動的數(shù)據(jù)源定義、數(shù)據(jù)倉庫的圖形化設計、圖形化的映射和轉(zhuǎn)換設計)將引導用戶完成數(shù)據(jù)倉庫建立的設計工作。這有助于可視化地決定合適的結(jié)構(gòu)、關鍵元素和數(shù)據(jù)庫的優(yōu)化設計,同樣,有助于設計高性能的數(shù)據(jù)倉庫的空間建模技術也將得到運用。
安全控制特性可由用戶激活以限制訪問,這樣可以對不同的用戶組賦予相應權限以訪問不同類型的數(shù)據(jù),各個用戶/組對數(shù)據(jù)(敏感信息)的訪問還可以進一步限制到表、列或記錄的級別。
元數(shù)據(jù)庫
擁有元數(shù)據(jù)庫是極為重要的,這是對技術信息和業(yè)務信息兩者進行維護的統(tǒng)一的元數(shù)據(jù)管理工具,這些元數(shù)據(jù)將關系到整個企業(yè)、整個數(shù)據(jù)倉庫以及數(shù)據(jù)集市的數(shù)據(jù)內(nèi)容和結(jié)構(gòu)。
元數(shù)據(jù)包含的信息有數(shù)據(jù)源、數(shù)據(jù)定義、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)模型、裝載規(guī)則、用法數(shù)據(jù)等等,元數(shù)據(jù)通過一組表存儲起來,用戶可通過相應的Web界面進行查詢,既可通過查詢也可通過報告工具來提交元數(shù)據(jù)。
元數(shù)據(jù)庫也包括了版本控制特性,允許整個企業(yè)的多個群體來開發(fā)和維護元數(shù)據(jù)。元數(shù)據(jù)管理對于當今的企業(yè)數(shù)據(jù)倉庫和Web配置的應用程序是一個很重要的組成部分,元數(shù)據(jù)定義了應用程序的業(yè)務結(jié)構(gòu)及其與其它企業(yè)系統(tǒng)之間的關系。元數(shù)據(jù)庫為整個企業(yè)提供了一個共同的管理視圖,是獲取、維護、開采分散的元數(shù)據(jù)的基礎,它減少了應用程序開始和維護成本,并幫助企業(yè)從已有的信息資產(chǎn)中獲取更多價值。
數(shù)據(jù)建模工具
建模組件與元數(shù)據(jù)庫密切相關,它可用來定義數(shù)據(jù)結(jié)構(gòu),并可為這些結(jié)構(gòu)定義表(實體)和列(屬性),另外還有關鍵字、數(shù)據(jù)字段長度、數(shù)據(jù)類型等等,這個組件在從概念、邏輯到物理設計的整個過程中被廣泛使用,定義了大多數(shù)的物理參數(shù),從而減少了DBA的工作量,也減少了生產(chǎn)時間。
元數(shù)據(jù)建模器所采用的技術是DBA和數(shù)據(jù)工程師都極為熟悉的,基于對象管理組(OMG)為元數(shù)據(jù)所建立的標準,稱為元對象工具(MOF)和xml 元數(shù)據(jù)交換(XMI)。
報告和分析工具
一個功能強大的企業(yè)報告工具應當能支持復雜的、高質(zhì)量的報告創(chuàng)建,并且對于整個企業(yè)以及Internet來說,都不應受到數(shù)據(jù)格式化的限制。它在格式化數(shù)據(jù)方面提供了完美的靈活性,支持多種報告類型,比如表、矩陣、分組報告和圖形等,以及對這些格式的任意組合。用戶可將多個查詢合并到同一個高質(zhì)量的報告中,并且可以訪問任意的信息源。
在線分析處理(OLAP)特性將使用戶可對數(shù)據(jù)進行分析以獲得透視能力,并在此基礎上采取行動。用戶可以訪問、計算及共享信息,以便跨越產(chǎn)品、市場、職權、流程、時期和情景等進行績效檢查、質(zhì)量評判以及因果分析。
信息門戶網(wǎng)站
信息門戶網(wǎng)站為整個公司的內(nèi)網(wǎng)用戶管理報告出版及訂閱,另外,既然已建起了信息訪問平臺,并且具備了時實信息,配置相應的門戶網(wǎng)站應用程序必然輕而易舉。
新聞熱點
疑難解答
圖片精選