您的位置:首页 > 技术中心 > 其他 >

如何使用Python的sklearn中的CountVectorizer?

时间:2023-05-08 00:32

简介

CountVectorizer官方文档。

将一个文档集合向量化为为一个计数矩阵。

如果不提供一个先验字典,不使用分析器做某种特征选择,那么特征的数量将等于通过分析数据发现的词汇量。

数据预处理

两种方法:1.可以不分词直接投入模型;2.可以先将中文文本进行分词。

两种方法产生的词汇会非常不同。在后面会具体给出示范。

import jiebaimport refrom sklearn.feature_extraction.text import CountVectorizer#原始数据text = ['很少在公众场合手机外放',        '大部分人都还是很认真去学习的',        '他们会用行动来',        '无论你现在有多颓废,振作起来',        '只需要一点点地改变',        '你的外在和内在都能焕然一新']#提取中文text = [' '.join(re.findall('[u4e00-u9fa5]+',tt,re.S)) for tt in text]#分词text = [' '.join(jieba.lcut(tt)) for tt in text]text

Python sklearn CountVectorizer如何使用

构建模型

训练模型

#构建模型vectorizer = CountVectorizer()#训练模型X = vectorizer.fit_transform(text)

所有词汇:model.get_feature_names()

#所有文档汇集后生成的词汇feature_names = vectorizer.get_feature_names()print(feature_names)

不分词生成的词汇

Python sklearn CountVectorizer如何使用

分词后生成的词汇

Python sklearn CountVectorizer如何使用

计数矩阵:X.toarray()

#每个文档相对词汇量出现次数形成的矩阵matrix = X.toarray()print(matrix)

Python sklearn CountVectorizer如何使用

#计数矩阵转化为DataFramedf = pd.DataFrame(matrix, columns=feature_names)df

Python sklearn CountVectorizer如何使用

词汇索引:model.vocabulary_

print(vectorizer.vocabulary_)

Python sklearn CountVectorizer如何使用

以上就是如何使用Python的sklearn中的CountVectorizer?的详细内容,更多请关注Gxl网其它相关文章!

热门排行

今日推荐

热门手游