基于聚类算法的文本热点问题挖掘算例实现（文本聚类）

在现实生活中，有时候我们可能得到一大堆无标签文本，这时候可能需要对文本进行聚类挖掘，找出热点问题是什么。

文本聚类

第一步：数据读取

import pandas as pd import re import jiebacsv='95598处理后.csv' file_txt=pd.read_csv(csv, header=0,encoding='gbk')# file_txt=file_txt.dropna()#删除空值[4229 rows x 2 columns] print(file_txt.head())

其他格式数据读取方法
现实生活中 文本数据有可能不是表格，是txt文件。
txt读取方法链接：
python读取txt文件（多种方法）

这里简单演示下读取一个文件夹下的所有txt文件数据.
原始文件夹 一张图两个txt

import os import re#首先定义规则，如我们需要把所有的txt文件pattern=re.compile(r'.+\.txt')for root ,dirs,files in os.walk(r'C:\Users\Shineion\Desktop\新建文件夹'):for name in files:file_path=os.path.join(root,name)#包含路径的文件matching=pattern.search(file_path)#匹配txtif matching:command_line =file_path.replace('/', '\\') #\\ 变 \print(command_line)f = open(command_line,encoding='utf')data = f.readlines() # 直接将文件中按行读到list里，效果与方法2一样f.close() # 关print(data) # 返回list

简单演示啦下，读取出来的数据有换行符\n。需要的时候正则化处理就可以啦。

如果是Word文字读取，参考链接
python自动化办公：word篇。职场高手不是梦。

第二步：预处理函数
去除数字字母 和停用词
停用词链接：nlp 中文停用词数据集

# 定义删除除字母,数字，汉字以外的所有符号的函数 def remove_punctuation(line):line = str(line)if line.strip() == '':return ''rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")line = rule.sub('', line)return line#停用词 def stopwordslist(filepath):stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]return stopwords

第三步：数据预处理实现
其中clean_review代表去除数字字母后的文本，cut_review代表去除停用词后的文本

# 加载停用词 stopwords = stopwordslist("停用词.txt")#去除标点符号 file_txt['clean_review']=file_txt['ACCEPT_CONTENT'].apply(remove_punctuation) #去除停用词 file_txt['cut_review']=file_txt['clean_review'].apply(lambda x:" ".join([w for w in list(jieba.cut(x)) if w not in stopwords])) print(file_txt.head())

第四步：tf-idf

from sklearn.feature_extraction.text import CountVectorizer#词袋 from sklearn.feature_extraction.text import TfidfTransformer#tfidf #词袋计数 count_vect = CountVectorizer() X = count_vect.fit_transform(file_txt['cut_review'])#tf-idf tfidf_transformer = TfidfTransformer() X_tfidf = tfidf_transformer.fit_transform(X) print(X_tfidf)

第五步：手肘法选择聚类中心数
①手肘法
手肘法的核心指标是SSE(sum of the squared errors，误差平方和)，

其中，Ci是第i个簇，p是Ci中的样本点，mi是Ci的质心（Ci中所有样本的均值），SSE是所有样本的聚类误差，代表了聚类效果的好坏。

手肘法的核心思想是：随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且，当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。当然，这也是该方法被称为手肘法的原因。

from sklearn.cluster import KMeans import matplotlib.pyplot as plt# '利用SSE选择k' SSE = [] # 存放每次结果的误差平方和 for k in range(1, 9):estimator = KMeans(n_clusters=k) # 构造聚类器estimator.fit(X_tfidf)SSE.append(estimator.inertia_) X = range(1, 9) plt.xlabel('k') plt.ylabel('SSE') plt.plot(X, SSE, 'o-') plt.show()

从图中看到，肘部并未明显出现，这时候我们应该扩大更大数值如范围1到10。 其实我们也隐约的知道 肘部数据为7或者8.我们就取7吧。

第六步：聚类实现

# K均值聚类 model_kmeans = KMeans(n_clusters=7,random_state=1) # 创建聚类模型对象 model_kmeans.fit(X_tfidf) # 训练模型 # 聚类结果 cluster_labels = model_kmeans.labels_ # 聚类标签结果 print(cluster_labels)

第七步：结果拼接汇总
将聚类得到的标签和原始数据进行拼接.
我这里选择的是将分词结果和标签进行拼接。
可以拼接更多的数据，如再加上原文。

#结果拼接 labels=pd.DataFrame(cluster_labels,columns=['标签'])shuju=pd.concat([file_txt['cut_review'],labels],axis=1) print(shuju)

第八步：统计每类词汇

cat_desc = dict() biaoqian_values=[0,1,2,3,4,5,6]#聚类标签 for i in biaoqian_values:text = shuju.loc[shuju['标签'] == i, 'cut_review']text = (' '.join(map(str, text))).split(' ')cat_desc[i] = text print(cat_desc[2])#打印2类词汇

第九步：绘制高频词词云

#词云图 #查看词云 from collections import Counter from wordcloud import WordCloud def generate_wordcloud(tup):wordcloud = WordCloud(background_color='white',font_path='simhei.ttf',max_words=50, max_font_size=40,random_state=42).generate(str(tup))return wordcloud fig, axes = plt.subplots(4, 2, figsize=(30, 38))k = 0 for i in range(4):for j in range(2):most10 = Counter(cat_desc[k]).most_common(10)#10个高频词ax = axes[i, j]ax.imshow(generate_wordcloud(most10), interpolation="bilinear")ax.axis('off')ax.set_title("{} Top 10".format(k), fontsize=30)if k<6:k += 1plt.show()

因为只有7个类别，我的画布是（4,2）所以最后一幅图画2次
if k<6:
k += 1
本文给出的原始文本数据 都属于电力工单，所以高频词云图你看起来决定很相似。如果给出的原始文本数据多种多样，饮食，体育，那结果显示就不一样的。

第10步：统计各类词频
如果你不想结果以词云图显示，想以文本格式显示。

from collections import Counter for i in range(7):most10 = Counter(cat_desc[i]).most_common(10)print('第{0}类前10个高频词'.format(i),most10)

总结
本文给出的文本数据例子可能不是太好。各类之间高度相似。
思路：分词 ，tf-idf ，聚类 ，聚类结果和原始分词拼接，绘制高频词云图，统计各类高频词。
即可得到热点问题是什么。

大家好，我是余登武。电气工程的计算机萌新。写博文不容易。如果你觉得本文对你有用，请点个赞支持下，谢谢。

总结

以上是生活随笔为你收集整理的基于聚类算法的文本热点问题挖掘算例实现（文本聚类）的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。