关于某网络问政的简单数据分析

2023-06-26 14:38| 来源: 网络整理| 查看: 265

这是某城市zf官网的网络投诉的数据,有382页数据,总共7000多条数据,时间跨度从2019年9月到2020年十月

在这里插入图片描述

首先用了爬虫将这些数据爬下来,由于该网站有反爬的措施,所以刚开始失败了,后来加了一个随机更换请求头,并且加了一点sleep,最后成功爬取源码和网址就不提供了

数据内容

在这里插入图片描述

数据可用性较强

在这里插入图片描述

按区县和发布时间分组

count_time=df.groupby('发布时间')['问题标题'].count() count=df.groupby('区县')['问题标题'].count() count_222=df.groupby(['发布时间','区县'])['问题标题'].count()

在这里插入图片描述存为csv文件数据可视化

部分代码

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 设置风格，seaborn有5种基本风格，context表示环境 sns.set(style="white", context="notebook") # 处理中文问题 data = pd.read_csv('投诉数量统计.csv') fig = plt.figure(figsize=(18,6),dpi=600) sns.barplot(x, y, palette="BuPu_r") plt.title('投诉数量柱状图') plt.ylabel('数量') # 数据可视化：柱状图 sns.despine(bottom=True) plt.show()

柱状图

在这里插入图片描述

南丁格尔图

在这里插入图片描述

2019/7-2020/10投诉的情况变化折线图

在这里插入图片描述

其中某县区的投诉内容词云图,字的大小反映了投诉内容出现的次数在这里插入图片描述

该市整体投诉内容词云图在这里插入图片描述

看来扰民的问题挺明显的词云图的部分代码

#jieba分词库 def wc(words): word = jieba.cut(words) final = "" for i in word: final = final + i +" " return final # 图云打印 def print_pic(word_after,filepath): word_pic = WordCloud(font_path = r'C:\Windows\Fonts\simkai.ttf',scale=4,background_color="white",max_words = 100,max_font_size = 60,random_state=20).generate(word_after) plt.imshow(word_pic) #去掉坐标轴 plt.axis('off') #保存图片到相应文件夹 plt.savefig(filepath,dpi=600)

偶然发现数据原来不止这么一些,还有一些不是投诉的,所以也把它拿了下来数据大概长成这个样子,有一万多条在这里插入图片描述

重新进行了一些分类,主要有这几类信息,之前分析的是投诉举报这一类

在这里插入图片描述各地区问政占比环形图

在这里插入图片描述

文本挖掘(NPL)

情感分析情感分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。目前常见的情感极性分析方法主要是两种：基于情感词典的方法和基于机器学习的方法。

本文主要运用Python的第三方库SnowNLP对内容进行情感分析，使用方法很简单，计算出的情感score表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。

#导库 import numpy as np import pandas as pd import glob import re import jieba #可视化库 import stylecloud import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline from pyecharts.charts import * from pyecharts import option as opt from IPython.display import Image #文本挖掘库 from snownlp import SnowNLP from gensim import corpora,models

jupyter lab展示在这里插入图片描述

部分代码

机械压缩去重函数 #定义机械压缩去重函数 def yasuo(st): for i in range(1,int(len(st)/2)+1): for j in range(len(st)): if st[j:j+i] == st[j+i:j+2*i]: k = j + i while st[k:k+i] == st[k+i:k+2*i] and k

【本文地址】

公司简介

联系我们