python爬虫scrapy比较常用的三个命令 |
您所在的位置:网站首页 › scrapy常用命令包括 › python爬虫scrapy比较常用的三个命令 |
scrapy命令有哪些,其实灰常少,也就十四五个,在这十四五个中,常用的就纳么两三个而已,如:
scrapy startproject XXX(创建项目)、 scrapy genspider XX (创建XX蜘蛛) scrapy crawl XX(运行XX蜘蛛)、 scrapy shell http://www.163.com(调试网址为http://www.163.com的网站) 1、startproject 创建项目命令: 这个是见得最多,创建项目的,如,创建一个名为:taobao的项目: scrapy strartproject taobao2、genspider 创建蜘蛛命令: cd进入startproject 创建的项目,然后运行genspider 命令创建进行爬取的蜘蛛,这个命令的话是根据蜘蛛模板创建蜘蛛的命令,如,创建一个爬取店铺的蜘蛛 scrapy genspider shop3、crawl 命令是运行创建的蜘蛛: scrapy crawl shop4、shell蜘蛛调试工具: 这个命令比较重要,主要是调试用,比如我们要调试http://www.taobao.com,看我们的选择器到底有木有正确选中某个元素,那我们就可以这样来玩,首先用调试打开:http://www.taobao.com: scrapy shell http://www.163.com然后我们可以直接执行命令,response,比如我们要测试我们获取标题的选择器正不正确,我们可以这样: response.css("title::text").extract_first() |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |