(项目)爬取网易社会招聘网站的职位信息

您所在的位置:网站首页 网易招聘网址 (项目)爬取网易社会招聘网站的职位信息

(项目)爬取网易社会招聘网站的职位信息

2024-07-09 12:43:44| 来源: 网络整理| 查看: 265

简介

  打开网易社会招聘网站(https://hr.163.com/job-list.html),使用scrapy框架爬取职位信息。

 

  思路

 

     对于翻页:因为职位信息是不断更新变化的,所以不能使用for循环进行翻页,使用for循环只能爬取固定的页数。应该使用while true进行死循环,然后再进行判断是否到达了最后一页,如果到达了最后一页就终止死循环。

 

步骤 ①创建scrapy项目

在cmd命令行中输入:scrapy startproject wangyizhaopin

②明确爬取目标

 

 

由图片可知,我们要爬取一个职位的信息包括它的名称、所属部门、职位类别、招聘人数、学历、工作年限。

因此,我们需要在items.py文件中进行数据建模(6个)。

 

 ③创建爬虫

在cmd命令行中输入:scrapy genspider job 163.com

注意:要在项目路径下创建爬虫。

④完成爬虫

①修改起始url

  把起始url改为 https://hr.163.com/job-list.html

②检查允许爬取的域名

  163.com符合我们要爬取的网站的域名,所以不用修改。

 

③在parse方法中实现爬取逻辑

  

 



【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭