數(shù)據(jù)挖掘技術(shù)在移動通信中的應(yīng)用

2019-11-03 09:04:16

字體：大中小

供稿：網(wǎng)友

王燕莉　安世全
重慶郵電學(xué)院計算機學(xué)院

　　摘要數(shù)據(jù)挖掘（Data Mining, DM）是一個應(yīng)用統(tǒng)計學(xué)和人工智能等算法進行知識發(fā)現(xiàn)的過程，目前商業(yè)應(yīng)用剛剛起步。本文闡述了數(shù)據(jù)挖掘的一般技術(shù)，重點探討了數(shù)據(jù)挖掘技術(shù)在移動通信中的應(yīng)用，包括數(shù)據(jù)倉庫的建立、數(shù)據(jù)挖掘主題的定義和數(shù)據(jù)挖掘的過程。

　　關(guān)鍵詞數(shù)據(jù)挖掘數(shù)據(jù)倉庫知識發(fā)現(xiàn) 移動通信

1 引言

　　數(shù)據(jù)挖掘匯集了統(tǒng)計學(xué)、人工智能、數(shù)據(jù)庫等學(xué)科的內(nèi)容，是一門新興的交叉學(xué)科。這門學(xué)科旨在幫助人們從海量數(shù)據(jù)中發(fā)現(xiàn)有價值的信息，目前在商業(yè)中的應(yīng)用剛剛起步。國內(nèi)日趨激烈的移動通信市場競爭促使各移動通信運營商去降低運營成本、提供差異化的客戶服務(wù)，而數(shù)據(jù)挖掘技術(shù)的應(yīng)用可以幫助運營商分析客戶消費行為，識別客戶特征，輔助運營商進行有效的市場營銷和客戶服務(wù)。

2 數(shù)據(jù)挖掘技術(shù)概述

　　“數(shù)據(jù)挖掘包含了一系列旨在從數(shù)據(jù)集中發(fā)現(xiàn)有用而尚未發(fā)現(xiàn)的模式（Pattern）的技術(shù)?！盵1]。確切地說，數(shù)據(jù)挖掘是一種知識發(fā)現(xiàn)的過程，它主要基于統(tǒng)計學(xué)、人工智能、機器學(xué)習(xí)等技術(shù)，高度自動化地分析數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，并對未來情況進行預(yù)測，以輔助決策者評估風(fēng)險、做出正確的決策。數(shù)據(jù)挖掘與聯(lián)機分析處理（On-Line Analytical PRocessing, OLAP）都是分析型工具。聯(lián)機分析處理作為驗證型分析工具，“更多地依賴用戶輸入的問題和假設(shè)”[2]，使得用戶能夠快速地檢索到所需要的數(shù)據(jù)，而數(shù)據(jù)挖掘能夠自動地發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式（Pattern）。

　　在實際應(yīng)用中，數(shù)據(jù)挖掘主要采用以下幾種方法進行模式的發(fā)現(xiàn)：

　?。?）相關(guān)分析和回歸分析：相關(guān)分析主要分析變量之間聯(lián)系的密切程度；而回歸分析主要基于觀測數(shù)據(jù)建立變量之間適當?shù)囊蕾囮P(guān)系。相關(guān)分析是回歸分析的基礎(chǔ)。

　?。?）時間序列分析：與相關(guān)分析類似，目的也是為了挖掘出數(shù)據(jù)之間的聯(lián)系，但時間序列分析更加側(cè)重于數(shù)據(jù)在時間先后上的因果關(guān)系。

　?。?）分類分析：分類分析首先為每一個觀測賦予一個標記，然后檢查這些被標記的觀測，描述出這些觀測的特征。這種描述可以是一個數(shù)學(xué)公式或者模型，利用它可以分類新的觀測。常用的幾種典型的分類模型有線性回歸模型、決策樹模型、基于規(guī)則模型和神經(jīng)網(wǎng)絡(luò)模型等。

　　聚類分析：與分類分析不同，聚類分析的輸入是一組未標定的記錄，目的是根據(jù)一定的規(guī)則，合理地劃分記錄集合。聚類分析和分類分析是一組互逆的過程，因此在很多分類分析中適用的算法也同樣適用于聚類分析。

3 數(shù)據(jù)挖掘在移動通信中的應(yīng)用

　　目前移動通信運營商都具有業(yè)務(wù)營運系統(tǒng)、客戶服務(wù)呼叫中心、業(yè)務(wù)受理網(wǎng)站等客戶信息系統(tǒng)，這些系統(tǒng)具有如下特點：

　　（1）各個信息系統(tǒng)都各自比較完整地管理著客戶某一部分的信息，眾多的客戶數(shù)據(jù)、市場營銷數(shù)據(jù)、帳務(wù)數(shù)據(jù)以不同的數(shù)據(jù)格式和訪問方式分散在不同的系統(tǒng)中，形成眾多的信息孤島，在各個信息孤島中存在著冗余和不一致，不能滿足數(shù)據(jù)挖掘過程中數(shù)據(jù)必須具有單一視圖（Single View）的要求。

　?。?）這些系統(tǒng)都是聯(lián)機事務(wù)處理（On-Line Transaction Processing, OLTP）系統(tǒng)，實時處理在線事務(wù)，不能適應(yīng)數(shù)據(jù)挖掘應(yīng)用大規(guī)模、頻繁的檢索和查詢操作。因此，數(shù)據(jù)挖掘的前提是必須建立企業(yè)級的客戶信息數(shù)據(jù)倉庫，能夠把不同聯(lián)機事務(wù)處理系統(tǒng)的客戶數(shù)據(jù)聚集在一起，提供一個正確、完整和單一的客戶數(shù)據(jù)環(huán)境。

3.1 數(shù)據(jù)倉庫的建立

　　數(shù)據(jù)倉庫作為數(shù)據(jù)挖掘的基礎(chǔ)，不同于傳統(tǒng)的聯(lián)機事務(wù)處理系統(tǒng)，它具有面向主題的、集成的、不可更新以及隨時間變化的特性。各個聯(lián)機事務(wù)處理系統(tǒng)作為數(shù)據(jù)倉庫的原始數(shù)據(jù)源，以文件方式提供客戶基本資料、客戶呼叫清單、客戶帳單、客戶聯(lián)系歷史記錄等數(shù)據(jù)。數(shù)據(jù)倉庫通過ETL過程（抽取、轉(zhuǎn)換和加載）處理這些接口文件，并且按不同的主題域組織、存儲和管理這些客戶數(shù)據(jù)。通過數(shù)據(jù)倉庫接口，對數(shù)據(jù)倉庫中的客戶數(shù)據(jù)進行聯(lián)機分析和數(shù)據(jù)挖掘。整個數(shù)據(jù)倉庫的體系結(jié)構(gòu)見圖1，主要由數(shù)據(jù)源、企業(yè)級數(shù)據(jù)倉庫和決策支持三個部分組成。

3.2 數(shù)據(jù)挖掘的主題定義

　　在建立完成企業(yè)級的客戶信息數(shù)據(jù)倉庫之后，可以基于這個數(shù)據(jù)倉庫平臺進行數(shù)據(jù)挖掘工作。但在數(shù)據(jù)挖掘工作開展之前，必須明確數(shù)據(jù)挖掘所需要解決的問題和所需要達到的預(yù)定目標。也只有在目標明確定義的前提下，數(shù)據(jù)挖掘的工作才有方向和意義。本文針對移動通信運營商市場運營的特點，定義了以下主題作為數(shù)據(jù)挖掘的目標。

3.2.1 客戶行為分析

　　利用分類分析法和聚類分析法對客戶通話行為進行分析，從而得出客戶在消費習(xí)慣、生活方式、社會聯(lián)系等方面的特征。對客戶行為分析的根本目的是為了按不同特征劃分客戶群，針對不同客戶群的特征，運營商可以進行不同的市場營銷活動和客戶服務(wù)。在客戶群劃分中典型的應(yīng)用就是針對某一客戶群的消費特征進行某種移動業(yè)務(wù)的營銷。

3.2.2 優(yōu)惠策略仿真預(yù)測

　　優(yōu)惠是市場營銷中十分重要的一部分，優(yōu)惠策略的不恰當，常常會得到適得其反的市場效果。優(yōu)惠策略仿真預(yù)測就是通過已建立的客戶行為模型仿真客戶對優(yōu)惠策略的反應(yīng)，從而預(yù)測優(yōu)惠策略實施的效果。通過對優(yōu)惠策略的仿真，可以預(yù)測優(yōu)惠策略的成功與否，從而進行相應(yīng)的調(diào)整和優(yōu)化。

3.2.3 客戶忠誠度分析

　　客戶忠誠度分析主要通過對客戶消費金額和帳務(wù)支付的分析建立客戶價值模型，從而獲得客戶價值和離網(wǎng)傾向?？蛻羰沁\營商價值之所在，通過對客戶忠誠度分析，有針對性的對高價值客戶進行優(yōu)質(zhì)服務(wù)，對有離網(wǎng)傾向的客戶及時進行挽留活動對提高運營商市場占有率，降低營銷成本是十分有用的。

3.2.4 反欺詐分析

　　目前，移動運營商面臨的一個最嚴重的問題是欠費問題，其中很大一部分是欺詐消費，因此反欺詐消費已經(jīng)成為移動通信發(fā)展的關(guān)鍵。通過對客戶數(shù)據(jù)的多維分析、聚類分析和孤立點分析可以建立客戶欺詐消費模型，從而可以有效的對客戶消費行為進行監(jiān)控，對滿足欺詐消費模型的消費行為進行告警。

3.2.5 競爭對手分析

　　成熟的市場必然是一個競爭比較充分的市場。不同運營商客戶之間的互聯(lián)互通是最基本的前提，因此通過對客戶與競爭對手客戶之間通話的行為分析，可以建立有關(guān)競爭對手經(jīng)營和客戶服務(wù)的模型，比如競爭對手客戶發(fā)展模型，通過對這些模型的使用，可以制定有效的市場應(yīng)對策略。

3.3 數(shù)據(jù)挖掘的過程

　　在數(shù)據(jù)挖掘目標明確的前提下，可以基于已經(jīng)建成的企業(yè)級客戶信息數(shù)據(jù)倉庫進行數(shù)據(jù)挖掘工作。本文將遵循以下步驟：問題定義、數(shù)據(jù)準備、數(shù)據(jù)探索、建立模型、模型檢驗、模型應(yīng)用以及投資回報分析，其中問題定義已經(jīng)在上文主題定義部分完成。

　　在問題定義之后，需要創(chuàng)建一個數(shù)據(jù)集市作為數(shù)據(jù)挖掘和分析的對象，一般抽取數(shù)據(jù)倉庫中與問題相關(guān)的數(shù)據(jù)子集作為數(shù)據(jù)集市。在創(chuàng)建集市過程中可以使用隨機抽樣、等距抽樣、分層抽樣和分類抽樣等抽樣技術(shù)來減少數(shù)據(jù)集市的數(shù)據(jù)量；通過對數(shù)據(jù)的刪選和對小概率事件的放大，使得數(shù)據(jù)集市中數(shù)據(jù)的特征和規(guī)律性更加顯著。

　　在數(shù)據(jù)探索過程中，通過多維分析和可視化展現(xiàn)探索數(shù)據(jù)的特征，通過對數(shù)據(jù)進行增刪操作或者根據(jù)現(xiàn)有變量重新組合生成一些新的變量來更加有效的描述數(shù)據(jù)特征；其中，對數(shù)據(jù)統(tǒng)計特性的分析在數(shù)據(jù)探索過程中起著十分重要的作用。建立數(shù)學(xué)模型是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)，目前比較常用的建模方法有神經(jīng)元網(wǎng)絡(luò)模型、決策樹模型和回歸模型。數(shù)據(jù)挖掘中具體使用哪一種方法，取決于數(shù)據(jù)集市的特征和需要實現(xiàn)的目標，在實際應(yīng)用中，往往是對多種建模方法的比較和綜合。在建模過程中，把數(shù)據(jù)分層為訓(xùn)練數(shù)據(jù)和校驗數(shù)據(jù)，訓(xùn)練數(shù)據(jù)主要使用于建模過程中求解模型參數(shù)，而校驗數(shù)據(jù)主要用于模型檢驗。因此模型檢驗階段的主要工作是把檢驗數(shù)據(jù)代入已經(jīng)建立的模型中，觀察模型的響應(yīng)，通過比較模型的響應(yīng)和真實的數(shù)據(jù)，從而評估模型的準確程度。如果模型的準確性比較差，就需要重新進行數(shù)據(jù)探索、建立新的模型、直至新模型檢驗。因此，在實際應(yīng)用中，數(shù)據(jù)探索、建立模型、模型檢驗是反復(fù)迭代的過程，見圖2。

　　數(shù)據(jù)挖掘的過程就是一個不斷探索數(shù)據(jù)特征、建立和檢驗?zāi)Ｐ停l(fā)現(xiàn)客戶消費行為特征的過程；移動運營商只有把模型的結(jié)果應(yīng)用到市場營銷和客戶服務(wù)過程中，才能真正發(fā)揮數(shù)據(jù)挖掘的作用。

4 結(jié)論

　　移動通信市場的激烈競爭導(dǎo)致了面向市場營銷和客戶服務(wù)的數(shù)據(jù)倉庫的建設(shè)以及數(shù)據(jù)挖掘技術(shù)的應(yīng)用，本文在介紹了數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)上，重點闡述了移動通信運營商數(shù)據(jù)挖掘平臺的建立，以及基于這個平臺展開數(shù)據(jù)挖掘的過程和數(shù)據(jù)挖掘的主題分析。應(yīng)該說，運營商對各種技術(shù)應(yīng)用的最終目的是實施以客戶服務(wù)為中心的客戶關(guān)系管理（Customers Relation Management, CRM），但在目前情況下，本文認為，移動運營商當務(wù)之急是在建立數(shù)據(jù)倉庫的基礎(chǔ)上成功實施多主題的數(shù)據(jù)挖掘。

參考文獻

[1] Alex Berson, Stephen Smith, Kurt Thearling. [美] 構(gòu)建面向CRM的數(shù)據(jù)挖掘應(yīng)用. 北京：人民郵電出版社, 2001

[2] 王珊等. 數(shù)據(jù)倉庫技術(shù)與聯(lián)機分析處理. 北京：科學(xué)出版社, 1998

[3] David Hand, Heikki Mannilar Padhraic Smyth. [美] 數(shù)據(jù)挖掘原理. 北京：機械工業(yè)出版社, 2003

[4] 張喆, 常桂然, 黃小原. 數(shù)據(jù)挖掘技術(shù)在CRM中應(yīng)用[J]. 中國管理科學(xué). 2003,11(2):53-58;

[5] 邱宏. 數(shù)據(jù)倉庫技術(shù)在移動通信中的應(yīng)用[J]. 電信科學(xué). 1999；12:34-35

[6] 李丙春, 耿國華. 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘在電信業(yè)中的應(yīng)用[J]. 新疆大學(xué)學(xué)報. 2003；19(3):358-360

----《中國數(shù)據(jù)通信》