數據倉庫解決方案在電子商務中的應用

2019-11-03 09:11:19

字體：大中小

來源：轉載

供稿：網友

NCR(中國)有限公司數據倉庫事業部專業技術服務總監王闖舟　　現任NCR中國有限公司數據倉庫事業部專業技術服務總監。他領導的部門由50余名專門從事數據倉庫技術研究與項目實施的專業顧問組成，主要為國內客戶提供有關NCR可擴展數據倉庫解決方案的售前咨詢與項目實施服務。他本人在IT行業有超過十年的豐富經驗，主要專長在于NCR的數據倉庫引擎Teradata RDBMS、項目管理、數據倉庫項目實施方法論、數據倉庫系統分析與應用規劃等。

在電子商務中引入數據倉庫解決方案的必要性

　　對于一個企業來說，要在競爭日益激烈的市場環境下保持自己的競爭優勢，更好地與客戶溝通并提供客戶服務，引入電子商務解決方案是非常重要的一項措施。在企業眾多的客戶交互渠道中，WEB是最經濟的，其涵蓋范圍也越來越廣。但問題是，許多企業在開展電子商務時，簡單地認為建立一個網站并且透過它進行產品的宣傳與銷售就足夠了。目前電子商務領域的各種技術與方案也主要圍繞在如何更好地進行網上交易，常常忽視了同樣重要的另一個主題，即如何更全面地分析客戶行為、更有效地與客戶進行溝通并提供服務。

　　與分支機構、柜臺等傳統渠道不同，基于WEB的網上交易方式是完全電子化、無接觸的，雖然比較經濟，但不如傳統渠道人性化和易于建立客戶關系。國外一家咨詢機構在一份2000年的統計與分析報告中指出，“84%的在線業務沒有采取有效措施來跟進那些通過其網站進行采購的客戶，90%的在線業務沒有針對客戶實施個性化的服務，75%的在線業務無法識別在其網站多次進行采購的客戶”。由于這樣的原因，企業與其網上交易客戶之間的關系變得疏遠和分離，形成所謂的“E－溝 (E-Gap)”。顯然，“E－溝”是企業維持穩定與優質的客戶群體的最大障礙。

　　隨著Internet在全球的普及，并逐漸發展成為進行市場行銷與商務活動的重要渠道，網站已經成為企業整體業務發展戰略的重要組成部分。人們不再把網站當成簡單的交易場所，而把它看成企業與客戶之間的重要交互渠道，并通過該渠道來逐步建立與加強客戶關系。在與客戶的每一次交互中，都將通過頁面訪問與點擊產生大量的數據。分散在不同系統中的這些數據需要通過清洗、整理、過濾、排序、合并等各種技術手段進行綜合的處理，才能轉變成有意義的業務信息與知識，從而幫助企業更好的洞察與了解客戶行為。實現這種處理的最有效方法就是引入數據倉庫技術。

　　通過在傳統的電子商務中，引入基于數據倉庫技術的WEB分析應用，可以幫助企業更好地了解與分析其客戶行為，加強客戶溝通并提供個性化服務，從而縮小并最終消除企業與客戶之間的“E－溝”。

典型的WEB分析需求

　　曾經有一段時間，企業對其網站成功與否的評估只是看客戶對其網站的訪問率與點擊率，而忽視了許多更全面、更深入的內在分析。事實上，從客戶的流覽、點擊與購買等數據中可以分析出許多非常有用的信息。如：客戶真正需要的是什么？支付的難易程度和安全性直接決定著客戶是否選擇該WEB等問題。

電子商務對數據倉庫平臺的挑戰

　　信息周刊（Information Week）在其一份分析報告中指出，“電子商務系統中產生了大量關于客戶行為與消費模式的有價值信息，對這些數據的綜合分析與處理為企業帶來了前所未有的商機，但同時也是對現代數據庫系統的極大挑戰”。

　　我們都很清楚，從大量的網上交互數據中獲取業務信息，從而全面和深入了解在線客戶，這對電子商務的成功是必不可少的。但需要注意的是，網站本身正變得越來越復雜。許多企業的網站由多個分布在不同地域的服務器組成，包含了許多的應用方案，如廣告服務器、應用服務器、內容管理系統等，為網站訪客提供更豐富、更動態、更個性化的服務，盡最大努力把這些訪問者轉變成自己的客戶。同時，越來越多的企業把一些傳統業務移動網站上，并把網站與后臺系統進行連接。這樣的信息結構將產生越來越多、越來越復雜的基礎數據，對于很多企業來說，這些基礎數據都在呈指數級增長。

　　隨著網站復雜性的增加、數據源的分離、以及迅速增長的原始數據量，給許多廠商的數據倉庫解決方案帶來了極大的挑戰，很多系統無法針對基礎數據進行完整、精確的分析，它們往往只是基于一些經過匯總處理的數據提供一些統計報表而已，這樣的分析系統很難為企業帶來真正的業務價值。

　　另外需要注意的是，網站只是企業眾多渠道中的一種，客戶與企業的接觸不可能只限于WEB這樣一種方式。因此在構造數據倉庫解決方案時，不要孤立地只考慮網站上產生的數據，還應包括企業其它渠道以及相關的客戶信息。這些數據的引入，會進一步增加系統的復雜性，同時加大了對數據庫管理系統的負載。

　　這些特點對數據倉庫基礎平臺提出了非常高的要求，具體來說，主要有以下幾個方面：

1、線性擴展能力

　　原始數據對任何一個數據倉庫來說，都是最主要的負載之一。隨著數據量的增長，系統性能會逐漸下降。為了維持合理的業務查詢響應時間，要求數據倉庫引擎和相應的數據庫服務器具有優良的線性擴展能力。一些系統的擴展能力非常有限，當數據量增長到一定規模時（比如TB級以上）已經很難滿足日常的業務分析要求，不得不將數據分離，最后建立多個小規模的數據集市，無法在整個企業范圍內提供統一的信息視圖。

2、并行處理能力

　　由于客戶行為的不確定性、市場環境的動態變化等諸多因素，使得數據倉庫系統中的許多業務查詢與分析都是動態(Ad-hoc Query)的。數據庫傳統的索引技術對動態查詢和模糊查詢的幫助不大。系統只有具有非常好的并行處理能力，才能滿足這種復雜的、動態的分析需求。

3、簡單的系統管理

　　對于大型的數據倉庫應用系統而言，如何能有效而簡單地進行系統管理是非常重要的。特別是當數據量不斷擴大時，如果沒有一種有效而且簡單的系統管理措施，那么系統的運行費用將會很高。系統管理包括很多方面，舉例來說，在有些數據庫系統中，數據庫重組就是一項非常繁重的系統管理工作。所謂數據庫重組，是指系統在運行一段時間后，由于數據分配不均衡而導致系統整體性能下降。這時必須將數據庫中的數據備份出來，對整個存儲區域重新規劃和分區，然后重新加載數據。這個過程就稱之為數據庫重組。它不僅需要經驗豐富的數據庫管理員，增加了系統的維護費用，而且減少了系統的對外服務時間。

NCR電子商務動態數據倉庫解決方案

　　長期以來，NCR一直專注于數據倉庫技術的研發與項目實施，已經在全球范圍成功實施了三千多個數據倉庫系統，其中容量在1TB以上的有三百多個，是大型數據倉庫領域無可爭辯的領導廠商。其主要特點是系統的線性擴展能力非常強，可以從很小規模（GB級）線性擴展到很大規模（TB級），目前已經投產的最大數據倉庫達170TB。另外，NCR數據倉庫系統還具有非常好的復雜業務問題分析能力、動態查詢處理能力、管理簡單等特點，因此在大型數據倉庫領域的應用案例非常多。

　　NCR利用其數據倉庫系統的優勢，結合電子商務的特點和需求，推出了電子商務動態數據倉庫解決方案(E-Business Teradata)。

整個解決方案由以下幾個部分組成：

1、 ETL

　　ETL是數據抽取(Extraction)、轉換(Transformation)和加載(Loading)的縮寫。利用ETL流程，把各種相關的源數據按照數據模型的定義和描述加載到數據倉庫，從而形成統一的信息視圖。在實施數據倉庫時，由于外部數據源的分離和復雜性，ETL一般都比較耗時耗力，有時會占到總個系統實施工作量的70%以上。

　　來自于WEB網站的數據源主要包括：

■ Cookie信息

■ 廣告服務器數據庫 (Ad Server Database)

■ 注冊數據庫 (Registration Database)

■ WEB日志(WEB Logs)

■ 商業應用數據庫 (Commerce application Database)

WEB數據在進行ETL時需要進行許多分析與轉換處理，如：

■ 對Cookie信息進行分解，以便跟蹤重復訪客

■ 分析并過濾網絡黑客信息(包括Spider, Crawler, Robot等)

■ 根據不同訪問類型進行整理與排序（如注冊用戶、匿名用戶等）

■ 企業不同WEB服務器中WEB日志的關聯分析

■ 不同格式WEB日志的關聯分析（IIS，Apache等）

2、 E-LDM

　　邏輯數據模型（LDM）是整個數據倉庫系統中非常重要的一個部分，它描述了各種數據實體及其相互之間的業務關系。數據倉庫中的邏輯數據模型是按照主題來設計的。NCR的E-LDM是專門針對電子商務數據倉庫應用而設計的，它有機地整合了來自WEB的在線數據以及其它與客戶相關的離線數據。

3、Teradata動態數據倉庫 (Teradata Active Data Warehouse)

　　Teradata動態數據倉庫是一個線性可擴展的、具有優良的業務分析處理性能的決策支持系統。著名的評估機構Gartner Group從1999年推出應用服務評估模型ASEM (Application Server Evaluation Model)，用來評估各家供應商所提供解決方案分別在OLTP與數據倉庫領域的綜合性能。NCR的動態數據倉庫解決方案已經連續四年在數據倉庫領域被評為總分第一名。

　　Teradata動態數據倉庫解決方案的主要特點是：

■ 線性可擴展能力，可以從很小的GB級數據倉庫擴展到大規模的TB級數據倉庫

■ 優良的并行處理能力與復雜業務分析處理能力

■ 系統管理簡單，降低了整體擁有成本TCO(Total Cost Ownership)

■ 提供標準接口，可以方便地與第三方應用工具集成

4、前端應用

前端應用主要分成以下四個部分：

■ Teradata E-Business Analytics for Customers：針對客戶的各種交易與事件，提供相關的分析報表。分析內容主要分成：客戶利潤貢獻度(PRofitability)、客戶輪廓分析(Profiling)、客戶忠誠度(Loyalty)、客戶獲取(Acquisition)。

■ Teradata E-Business Analytics for Campaigns：對于各種促銷活動(Campaign)及其行銷結果進行分析，包括：促銷前活動與結果(Pre-Campaign activity and results)、促銷后活動與結果(Post-Campaign activity and results)、并發的促銷活動與結果(Concurrent Campaign activity and results)。

■ Teradata E-Business Analytics for Web Sites：主要針對WEB網站的各種活動與事件進行分析，包括：網絡流量(Traffic)、訪問引用與連接(Referral)、客戶(Customers)。

■ Teradata E-Business Analytics for Advertising：對于網站廣告的效果進行分析，分析內容包括：網絡廣告容量(Ad Network Capacity Analysis)、廣告效果分析(Ad Performance Analysis)、廣告發行者分析(Pub)。

小結

　　與早幾年相比，現在的企業已經把WEB完全集成到其業務基礎設施中，WEB已經不再是簡單的產品宣傳與銷售渠道，而是企業信息與客戶關系的門戶。利用WEB，可以為企業提供7X24的商業環境。引入基于數據倉庫技術的商業智能解決方案后，客戶對其網站的每一次訪問，都是企業加強客戶關系、影響客戶購買行為、增強企業品牌與形象的一次機會。

摘自《通信市場》

上一篇：寬頻技術與無線傳輸

下一篇：全方位數據倉庫解決方案