[w.lower() for w in text], 通过使用lower()将文本规范化为小写。还有更多的规范化文本的尝试。
词干提取器
Porter词干提取器
porter = nltk.PorterStemmer()
[porter.stem(t) for t in tokens]词形归并
词形归并是一个过程，将一个词的各种形式映射到这个词的标准的或引用的形式，也称为词位或词元。
WordNet词形归并器， 删除词缀产生的词，都是它词典中的词。这个额外的检查使词形归并器比刚才的词干提取器速度要++慢++。
wnl = nltk.WordNetLemmatizer()
[wnl.lemmatize(t) for t in tokens]参考《Natural Language Processing with Python》
版权声明：本文为Shingle_原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。