| 基于Python的拉勾网Python工程师招聘信息的爬取和处理分析 | 您所在的位置：网站首页 › 拉勾网简介 › 基于Python的拉勾网Python工程师招聘信息的爬取和处理分析 |
基于Python的拉勾网Python工程师招聘信息的爬取和处理分析
|
目录
一、项目简介
1、项目完成的功能
2、项目完成的特色
3、项目采用的技术栈
二、项目的需求分析
1、项目的功能需求分析
2、项目的非功能需求分析
系统性能需求
系统观感需求（界面需求）
三、项目UML图
1、项目功能架构图
2、项目主要功能流程图
四、项目模块
1、数据爬取、过滤与清洗
2、数据可视化展示
（1）分析中国各个城市的职位数量及分布情况
（2）使用词云图展示公司福利
（3）搜索
（4）GUI页面
五、项目总结
1、项目特点
2、项目不足之处
六、项目借鉴
一、项目简介
该项目是基于Python的拉勾网Python工程师招聘信息的爬取和处理分析，利用Python写了爬虫去获取拉勾网的招聘信息，然后进行数据可视化分析，最后用一个GUI页面串起整个项目。 1、项目完成的功能项目完成了以下几个主要功能： ①数据的爬取、过滤与清洗：爬取拉勾网在中国范围内关于python工程师职位相关的数据信息，过滤后存储公司全名、公司福利、城市字段的内容，将数据存入.csv文件，然后对.csv文件相关字段的数据进行清洗。 ②数据的可视化展示：使用GUI页面展示项目，使用柱状图展示中国各个城市的职位数量，使用词云图展示公司福利，还可以通过指定城市搜索相关内容。 2、项目完成的特色该项目的主要特色有以下四点： ①项目采用了GUI页面展示，能使用户更加直观方面的观察到数据，而且为项目中的搜索功能设置了提示框，能够让用户的更好理解代码所返回的内容。 ②由于项目所爬取的拉勾网有反爬虫机制，所以项目采用了代理IP技术和休眠技术，文明爬取。 ③该项目主要是分析公司的所在城市及福利，而且拉勾网的职位相关信息量过于庞大，所以保存信息时进行了分别、过滤，只保存了与项目相关的字段，大大减少了信息量，也减少了代码爬取的时间。 ④数据的可视化采用了词云图，而且把词云图的背景替换成了Python的标志，更好的将项目所采用的技术与项目内容相结合。 3、项目采用的技术栈1、Python：版本为 Python3.6。 2、requests: 爬虫的主要技术之一，用于抓取网页的数据。 3、pandas：进行数据分析并保存为csv文件。 4、matplotlib：进行数据可视化，绘制饼图。 5、wordcloud、jieba：生成中文词云。 6、tkinter：生成GUI页面。 二、项目的需求分析需求分析就是分析用户的需要与要求，影响着设计的过程和开发的方向。需求分析是对项目的功能需求等方面进行分析评估，在项目开发完成后，需要检查是否完成了之前分析的所要完成的功能，是否符合用户的需求。需求分析是在开发项目的前期需要做的功能，也是不可或缺的一个过程。 1、项目的功能需求分析本项目是在分析了Python能做的事情以后，找到了一个有意义的课题去做的一个项目。本项目，不仅仅只有一些分析，还考虑到了如何更好的展示给用户看。 本项目大致分为三个功能（用户角度）：饼状图分析职位数量、词云图展示公司福利、搜索特定城市信息。每个功能既相互独立又互有联系。 项目需要使用Python爬虫爬取拉勾网全国站的招聘关键词：Python工程师。出现了每页15条、30页的招聘信息，总职位条数：450条，其中包括公司全名,公司简称,公司规模,融资阶段,区域,职位名称,工作经验,学历要求,薪资,职位福利,经营范围,职位类型,公司福利,第二职位类型,城市等14个字段列。 由于是做一个小型的项目，且考虑到全部爬取得信息量太大，所以选取了用户最关心的数据进行了分析。当提到工作时，最先要解决的便是在哪个城市工作，所以本项目主要针对公司所在的城市进行一个信息爬取与分析，希望能为要找工作的用户提供一些在城市选取上的建议。譬如很多用户就会想知道各个城市的招聘数量分布情况，会担心会不会大部分的工作机会都集中在北上广深。所以，本项目是在分析了招聘的现状、特点，专门围绕着招聘的公司所在的城市设计的。 2、项目的非功能需求分析 系统性能需求在系统性能方面，项目的日常运行对硬件没有太大的要求，但是爬取的数据量较多，所有会有很大的数据量和并发资源的占用，所以在硬件必须要具备强大的计算能力和存储能力，要具有较高的访问效率，以此保证系统良好的性能。 系统观感需求（界面需求）系统采用了GUI页面，整体风格美观简洁，操作简单易懂，用户使用方便。 三、项目UML图 1、项目功能架构图
城市分布分析功能流程图 公司福利分析功能流程图 城市搜索功能流程图 数据来源：拉勾网 https://www.lagou.com/ 由于拉勾网有反爬虫机制，同时也为了防止频繁请求一个网站而被限制ip，所以设置了一个代理IP（你也可以选择设置IP池）和在爬取一页代码后选择睡（sleep（））一段时间。 SJ_LGW() import requests import math import time import pandas as pd from urllib import request def getjson(url, num): # 传入两个参数url，页数 """ 从指定的url中通过requests请求携带请求头和请求体获取网页中的信息, :return: """ # 另外一种方法 # handler = request.ProxyHandler({ "https":"222.76.74.183:41309"}) # opener = request.build_opener(handler) proxies_ip = { "http": "https://222.76.74.183:41309"} # 代理ip url1 = 'https://www.lagou.com/jobs/list_python%E5%BC%80%E5%8F%91%E5%B7%A5%E7%A8%8B%E5%B8%88?labelWords=&fromSearch=true&suginput=' # 关键词python开发工程师 # 模拟浏览器 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36', # 'Host': 'www.lagou.com', 'Referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=', # 'X-Anit-Forge-Code': '0', # 'X-Anit-Forge-Token': 'None', # 'X-Requested-With': 'XMLHttpRequest' } data = { 'first': 'true', 'pn': num, # 页数 'kd': 'python工程师'} # 关键字 s = requests.Session() print('建立session：', s, '\n\n') s.get(url=url1, headers=headers, proxies=proxies_ip, timeout=3) # 3秒内没有从基础套接字上接收到任何字节的数据时，将返回异常 cookie = s.cookies print('获取cookie：', cookie, '\n\n') res = requests.post(url, headers=headers, proxies=proxies_ip, data=data, cookies=cookie, timeout=3) # res = opener.post(url, headers=headers,proxies=proxies, data=data, cookies=cookie, timeout=3) res.raise_for_status() # 响应码抓取 正常为200 res |
【本文地址】