国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

對Python中gensim庫word2vec的使用詳解

2020-02-23 00:03:30
字體:
來源:轉載
供稿:網(wǎng)友

pip install gensim安裝好庫后,即可導入使用:

1、訓練模型定義

from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) 

參數(shù)解釋:

1.sg=1是skip-gram算法,對低頻詞敏感;默認sg=0為CBOW算法。

2.size是輸出詞向量的維數(shù),值太小會導致詞映射因為沖突而影響結果,值太大則會耗內存并使算法計算變慢,一般值取為100到200之間。

3.window是句子中當前詞與目標詞之間的最大距離,3表示在目標詞前看3-b個詞,后面看b個詞(b在0-3之間隨機)。

4.min_count是對詞進行過濾,頻率小于min-count的單詞則會被忽視,默認值為5。

5.negative和sample可根據(jù)訓練結果進行微調,sample表示更高頻率的詞被隨機下采樣到所設置的閾值,默認值為1e-3。

6.hs=1表示層級softmax將會被使用,默認hs=0且negative不為0,則負采樣將會被選擇使用。

7.workers控制訓練的并行,此參數(shù)只有在安裝了Cpython后才有效,否則只能使用單核。

詳細參數(shù)說明可查看word2vec源代碼。

2、訓練后的模型保存與加載

model.save(fname) model = Word2Vec.load(fname) 

3、模型使用(詞語相似度計算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) #輸出[('queen', 0.50882536), ...]  model.doesnt_match("breakfast cereal dinner lunch".split()) #輸出'cereal'  model.similarity('woman', 'man') #輸出0.73723527  model['computer'] # raw numpy vector of a word #輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32) 

其它內容不再贅述,詳細請參考gensim的word2vec的官方說明,里面講的很詳細。

以上這篇對Python中gensim庫word2vec的使用詳解就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 鄂州市| 丹阳市| 秭归县| 龙海市| 宜君县| 瓦房店市| 大庆市| 汝城县| 九台市| 西吉县| 洛阳市| 南溪县| 射洪县| 阿克陶县| 临海市| 聊城市| 永安市| 凉城县| 景泰县| 博客| 福州市| 唐山市| 和硕县| 信阳市| 札达县| 临颍县| 斗六市| 山西省| 荣昌县| 鄂尔多斯市| 安西县| 嘉定区| 南溪县| 武山县| 和林格尔县| 黑龙江省| 高阳县| 延安市| 镶黄旗| 甘泉县| 三明市|