文本分类问题相关原理知识
发布于2019-08-06 10:27 阅读(839) 评论(0) 点赞(3) 收藏(1)
1 词袋模型
from sklearn import feature_extraction
f = feature_extraction.text.CountVectorizer()
CountVectorizer将文本中的词转化为词频矩阵，数值为0/1，是关键字则为1。
from sklearn.feature_extraction.text import CountVectorizer corpus = [ 'This is the first document.', 'This is the second second document.', 'And the third one.', 'Is this the first document?', ] '''CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵 get_feature_names()可看到所有文本的关键字 vocabulary_可看到所有文本的关键字和其位置 toarray()可看到词频矩阵的结果''' vectorizer = CountVectorizer() count = vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names()) print(vectorizer.vocabulary_) print(count.toarray()) print(count.toarray().shape) #词频矩阵：向量长度（横向每一行）：所有关键字的数量（设为m） 数值：0/1数值==出现、未出现 纵向长度：文档数量 #需要注意关键字又有自己的位置，所以文档中的某一句有m长，该句中某个位置上是关键字的会标注为1. ['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this'] {'this': 8, 'is': 3, 'the': 6, 'first': 2, 'document': 1, 'second': 5, 'and': 0, 'third': 7, 'one': 4} [[0 1 1 1 0 0 1 0 1] [0 1 0 1 0 2 1 0 1] [1 0 0 0 1 0 1 1 0] [0 1 1 1 0 0 1 0 1]] (4, 9)
所属网站分类: 技术文章 > 博客
作者：加班是一种习惯
链接：https://www.pythonheidong.com/blog/article/7674/7df1316c58d42ac9bea4/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力