Python - 双字组词



某些英文单词经常一起出现。例如,Sky High、do or die、best performance、heavy rain 等。因此,在文本文件中,我们可能需要识别这样的单词对,这有助于进行情感分析。首先,我们需要从现有的句子中生成这样的词对,并保持它们当前的序列。这样的词对称为双字组词。Python 有一个双字组词函数作为 NLTK 库的一部分,它可以帮助我们生成这些词对。

示例

import nltk

word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)  	

print(list(nltk.bigrams(nltk_tokens)))

当我们运行上述程序时,我们将获得以下输出 −

[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'), 
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]

该结果可用于对给定文本中此类词对的频率进行统计调查。这将与文本正文中描述的一般情绪相关。

广告