上一次，我用TF-IDF算法自動(dòng)提取關(guān)鍵詞。

今天，我們?cè)賮硌芯苛硪粋€(gè)相關(guān)的問題。有些時(shí)候，除了找到關(guān)鍵詞，我們還希望找到與原文章相似的其他文章。比如，"Google新聞"在主新聞下方，還提供多條相似的新聞。

為了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我舉一個(gè)例子來說明，什么是"余弦相似性"。

為了簡單起見，我們先從句子著手。

　　句子A：我喜歡看電視，不喜歡看電影。
　　句子B：我不喜歡看電視，也不喜歡看電影。

請(qǐng)問怎樣才能計(jì)算上面兩句話的相似程度？

基本思路是：如果這兩句話的用詞越相似，它們的內(nèi)容就應(yīng)該越相似。因此，可以從詞頻入手，計(jì)算它們的相似程度。

第一步，分詞。
　　句子A：我/喜歡/看/電視，不/喜歡/看/電影。
　　句子B：我/不/喜歡/看/電視，也/不/喜歡/看/電影。

第二步，列出所有的詞。
　　我，喜歡，看，電視，電影，不，也。

第三步，計(jì)算詞頻。
　　句子A：我 1，喜歡 2，看 2，電視 1，電影 1，不 1，也 0。
　　句子B：我 1，喜歡 2，看 2，電視 1，電影 1，不 2，也 1。

第四步，寫出詞頻向量。
　　句子A：[1, 2, 2, 1, 1, 1, 0]
　　句子B：[1, 2, 2, 1, 1, 2, 1]

到這里，問題就變成了如何計(jì)算這兩個(gè)向量的相似程度。

我們可以把它們想象成空間中的兩條線段，都是從原點(diǎn)（[0, 0, ...]）出發(fā)，指向不同的方向。兩條線段之間形成一個(gè)夾角，如果夾角為 0 度，意味著方向相同、線段重合；如果夾角為 90 度，意味著形成直角，方向完全不相似；如果夾角為 180 度，意味著方向正好相反。因此，我們可以通過夾角的大小，來判斷向量的相似程度。夾角越小，就代表越相似。

以二維空間為例，上圖的a和b是兩個(gè)向量，我們要計(jì)算它們的夾角θ。余弦定理告訴我們，可以用下面的公式求得：

假定a向量是[x1, y1]，b向量是[x2, y2]，那么可以將余弦定理改寫成下面的形式：

數(shù)學(xué)家已經(jīng)證明，余弦的這種計(jì)算方法對(duì)n維向量也成立。假定A和B是兩個(gè)n維向量，A是 [A1, A2, ...， An] ，B是 [B1, B2, ...， Bn] ，則A與B的夾角θ的余弦等于：