建站
咨詢
售后
建站咨詢
新聞中心
這篇文章將為大家詳細(xì)講解有關(guān)Python實(shí)現(xiàn)word2Vec model過(guò)程解析，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。
這篇文章主要介紹了Python實(shí)現(xiàn)word2Vec model過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk
corpus = nltk.corpus.brown.sents()
fname = 'brown_skipgram.model'
if os.path.exists(fname):
# load the file if it has already been trained, to save repeating the slow training step below
model = gensim.models.Word2Vec.load(fname)
else:
# can take a few minutes, grab a cuppa
model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
model.save(fname)
words = "woman women man girl boy green blue".split()
for w1 in words:
for w2 in words:
print(w1, w2, model.similarity(w1, w2))
print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl在gensim模塊中已經(jīng)封裝了13年提出的model--word2vec，所以我們直接開始建立模型
這是建立模型的過(guò)程，最后會(huì)出現(xiàn)saving Word2vec的語(yǔ)句，代表已經(jīng)成功建立了模型
這是輸入了 gorvement和news關(guān)鍵詞后 所反饋的詞語(yǔ) --- administration， 他們之間的相關(guān)性是0.508
當(dāng)我在輸入 women 和 man ，他們顯示的相關(guān)性的0.638 ，已經(jīng)是非常高的一個(gè)數(shù)字。
值得一提的是，我用的語(yǔ)料庫(kù)是直接從nltk里的brown語(yǔ)料庫(kù)。其中大概包括了一些新聞之類的數(shù)據(jù)。
大家如果感興趣的話，可以自己建立該模型，通過(guò)傳入不同的語(yǔ)料庫(kù)，來(lái)calc 一些term的 相關(guān)性噢
關(guān)于“Python實(shí)現(xiàn)word2Vec model過(guò)程解析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。
網(wǎng)站標(biāo)題：Python實(shí)現(xiàn)word2Vecmodel過(guò)程解析-創(chuàng)新互聯(lián)
地址分享：http://ef60e0e.cn/article/dgjscd.html
