爱奇艺评论爬虫、词频统计、词云、PaddleHub内容审核 |
您所在的位置：网站首页 › 抓取爱奇艺视频的软件叫什么软件名字 › 爱奇艺评论爬虫、词频统计、词云、PaddleHub内容审核 |
爱奇艺评论爬虫、词频统计、词云、PaddleHub内容审核
|
需求
第一步：爱奇艺《青春有你2》评论数据爬取(参考链接：https://www.iqiyi.com/v_19ryfkiv8w.html#curid=15068699100_9f9bab7e0d1e30c494622af777f4ba39) 爬取任意一期正片视频下评论评论条数不少于1000条第二步：词频统计并可视化展示 数据预处理：清理清洗评论中特殊字符（如：@#￥%、emoji表情符）,清洗后结果存储为txt文档中文分词：添加新增词（如：青你、奥利给、冲鸭），去除停用词（如：哦、因此、不然、也好、但是）统计top10高频词可视化展示高频词第三步：绘制词云 根据词频生成词云可选项-添加背景图片，根据背景图片轮廓生成词云第四步：结合PaddleHub，对评论进行内容审核 需要的配置和准备 中文分词需要jieba词云绘制需要wordcloud可视化展示中需要的中文字体网上公开资源中找一个中文停用词表根据分词结果自己制作新增词表准备一张词云背景图（附加项，不做要求，可用hub抠图实现）paddlehub配置 !pip install jieba !pip install wordcloud # Linux系统默认字体文件路径 !ls /usr/share/fonts/ # 查看系统可用的ttf格式中文字体 !fc-list :lang=zh | grep ".ttf" !wget https://mydueros.cdn.bcebos.com/font/simhei.ttf !mkdir .fonts # 复制字体文件到该路径 !cp fonts/simhei.ttf .fonts/ #!cp fonts/simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/ #!rm -rf .cache/matplotlib #安装模型 !hub install porn_detection_lstm==1.1.0 !pip install --upgrade paddlehub from __future__ import print_function import requests import json import re #正则匹配 import time #时间处理模块 import jieba #中文分词 import numpy as np import matplotlib import matplotlib.pyplot as plt import matplotlib.font_manager as font_manager from PIL import Image from wordcloud import WordCloud #绘制词云模块 import paddlehub as hub import os, sys #请求爱奇艺评论接口，返回response信息 def getMovieinfo(url): ''' 请求爱奇艺评论接口，返回response信息 参数 url: 评论的url :return: response信息 ''' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } try: response = requests.get(url, headers=headers) if response.status_code==200: return json.loads(response.text) else: return None except Exception as e: print(e) return None #解析json数据，获取评论 def saveMovieInfoToFile(lastId,arr): ''' 解析json数据，获取评论 参数 lastId:最后一条评论ID arr:存放文本的list :return: 新的lastId ''' # &callback=jsonp_1587899511324_59086 url = 'https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&agent_version=9.11.5&authcookie=a3fFx3Pr964sHm1rgm3RbWjyKIeM04eCWEOpxPs2pHLam1Oeom2Nqc9R1r1cHrF57ydg9a56&business_type=17&content_id=15068699100&hot_size=10&last_id='+lastId+'&page=&page_size=40&types=hot,time' content=getMovieinfo(url) # start_index=content.find('''{"data"'''); # data=json.loads(content[start_index:-14]); # print(len(comment_list)) comment_list=content['data']['comments'] for comment in comment_list: if 'content' in comment.keys(): arr.append(comment['content']) lastId=comment['id'] #递归 if len(arr) } for line in f: # 中文分词：添加新增词（如：青你、奥利给、冲鸭），去除停用词（如：哦、因此、不然、也好、但是） words = fenci(fenciAddDictPath,line) stopwords = stopwordslist(fenciForbidDictPath) movestopwords (words ,stopwords,counts) # 可视化展示高频词 drawcounts(counts,10) #绘制top10 高频词 # 【3】绘制词云 # 根据词频生成词云 # 可选项-添加背景图片，根据背景图片轮廓生成词云 drawcloud(counts) #绘制词云 f.close( ) # 【4】结合PaddleHub，对评论进行内容审核 test_text =[] text_detection(test_text,filePath)
|
【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |