Scrapy初入门笔记 | 您所在的位置:网站首页 › 生孩子住院费可以报销吗现在多少钱一个月 › Scrapy初入门笔记 |
说明:
仅为学习时简略笔记,详见菜鸟教程 Scrapy 入门教程 | 菜鸟教程 (runoob.com)https://www.runoob.com/w3cnote/scrapy-detail.html 一:安装法1(先尝试下): pip install scrapy *此方法经常出错 法2(通过Anaconda安装(简单): 下载链接:Anaconda | Individual Editionhttps://www.anaconda.com/download/ 1. 下载完成傻瓜式安装(可更改路径) 2. 配置Anaconda环境变量 此电脑——>属性——>高级系统设置——>环境变量——>path——>编辑——>新建——>浏览——>选择添加安装路径(如下图)
3. 验证是否安装成功 win+r ==>输入cmd回车,输入以下代码 conda --v如果出现如下图,则安装成功 4. 安装Scrapy(cmd) conda install scrapy5. 检验scrapy是否安装成功(cmd) scrapy出现如图即安装成功 二: Scrapy入门使用 1. 打开要存放的文件夹,如桌面新建文件夹"test" 2. cmd进入该文件夹,输入 scrapy startproject 项目名此时test文件夹会出现一个testSpider文件夹
3. (cmd) cd testSpider cd testSpider cd spiders scrapy genspiders 爬虫名字 域名
4. 在pycharm打开整个项目文件 5. 更改默认配置: 1. settings.py # 更改为 ROBOTSTXT_OBEY = False6. 开始写代码(在spiders/baidu.py) import scrapy class BaiduSpider(scrapy.Spider): name = 'baidu' # 爬虫的识别名称,必须是唯一的,在不同的爬虫必须定义不同的名字 allowed_domains = ['baidu.com'] # 搜索的域名范围,也就是爬虫的约束区域,规定爬虫只爬取这个域名下的网页,不存在的URL会被忽略 start_urls = ['http://baidu.com/'] # 爬取的URL元祖/列表。爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成 def parse(self, response): """ **parse(self, response) :解析的方法,每个初始URL完成下载后将被调用,调用的时候传入从每一个URL传回的Response对象来作为唯一参数,主要作用如下: *负责解析返回的网页数据(response.body),提取结构化数据(生成item) *生成需要下一页的URL请求。 *将start_urls的值修改为需要爬取的第一个url """ print(response.body) # 这里进行处理数据等操作7.运行爬虫(cmd/pycharm下的terminal) 进入项目文件夹 scrapy crawl 爬虫名字可以看到爬虫文件打印的response.body 完。 |
CopyRight 2018-2019 实验室设备网 版权所有 |