什么是詞干提取？

在語言形態學和信息檢索里，詞干提取是去除詞綴得到詞根的過程─—得到單詞最一般的寫法。對于一個詞的形態詞根，詞干并不需要完全相同；相關的詞映射到同一個詞干一般能得到滿意的結果，即使該詞干不是詞的有效根。從1968年開始在計算機科學領域出現了詞干提取的相應算法。很多搜索引擎在處理詞匯時，對同義詞采用相同的詞干作為查詢拓展，該過程叫做歸并。

一個面向英語的詞干提取器，例如，要識別字符串“cats”、“catlike”和“catty”是基于詞根“cat”；“stemmer”、“stemming”和“stemmed”是基于詞根“stem”。一根詞干提取算法可以簡化詞 “fishing”、“fished”、“fish”和“fisher” 為同一個詞根“fish”。
技術方案的選擇

Python和R是數據分析的兩種主要語言；相對于R，Python更適合有大量編程背景的數據分析初學者，尤其是已經掌握Python語言的程序員。所以我們選擇了Python和NLTK庫（Natual Language Tookit）作為文本處理的基礎框架。此外，我們還需要一個數據展示工具；對于一個數據分析師來說，數據庫的冗繁安裝、連接、建表等操作實在是不適合進行快速的數據分析，所以我們使用Pandas作為結構化數據和分析工具。
環境搭建

我們使用的是Mac OS X，已預裝Python 2.7.

安裝NLTK

sudo pip install nltk

安裝Pandas

sudo pip install pandas

對于數據分析來說，最重要的是分析結果，iPython notebook是必備的一款利器，它的作用在于可以保存代碼的執行結果，例如數據表格，下一次打開時無需重新運行即可查看。

安裝iPython notebook

sudo pip install ipython

創建一個工作目錄，在工作目錄下啟動iPython notebook，服務器會開啟http://127.0.0.1:8080頁面，并將創建的代碼文檔保存在工作目錄之下。

mkdir Codescd Codesipython notebook

文本處理

數據表創建

使用Pandas創建數據表 我們使用得到的樣本數據，建立DataFrame——Pandas中一個支持行、列的2D數據結構。

from pandas import DataFrameimport pandas as pdd = ['pets insurance','pets insure','pet insurance','pet insur','pet insurance"','pet insu']df = DataFrame(d)df.columns = ['Words']df

顯示結果

NLTK分詞器介紹

RegexpTokenizer：正則表達式分詞器，使用正則表達式對文本進行處理，就不多作介紹。
PorterStemmer：波特詞干算法分詞器，原理可看這里：http://snowball.tartarus.org/algorithms/english/stemmer.html
第一步，我們創建一個去除標點符號等特殊字符的正則表達式分詞器：