一些英語(yǔ)單詞更頻繁地出現(xiàn)在一起。 例如 - 天空高,做或死,最佳表現(xiàn),大雨等。因此,在文本文檔中,我們可能需要識(shí)別這樣的一對(duì)詞,這將有助于情緒分析。 首先,我們需要從現(xiàn)有句子生成這樣的單詞對(duì)來(lái)維持它們的當(dāng)前序列。 這種對(duì)稱(chēng)為雙字母。 Python有一個(gè)bigram
函數(shù),它是NLTK
庫(kù)的一部分,它可以幫助我們生成這些對(duì)。
示例
import nltk
word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)
print(list(nltk.bigrams(nltk_tokens)))
當(dāng)運(yùn)行上面的程序時(shí),我們得到以下輸出 -
[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'),
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]
該結(jié)果可用于給定文本中此類(lèi)對(duì)的頻率的統(tǒng)計(jì)結(jié)果。 這將與文本正文中描述的一般情緒相關(guān)聯(lián)。