scrapy 的创建和执行,萌新教程 您所在的位置:网站首页 进入目录的dos命令在哪 scrapy 的创建和执行,萌新教程

scrapy 的创建和执行,萌新教程

2024-07-16 18:10| 来源: 网络整理| 查看: 265

目录

一、scrapy 创建

1.1 切换路径

1.1.1 切换盘符

1.1.2 切换路径

1.1.3 查看路径

1.2 创建scrapy 项目

二、scrapy 执行

2.1 cmd中运行

2.2 编辑器中运行

三、总结

一、scrapy 创建 1.1 切换路径

cmd打开方式,快捷键win+R,输入cmd,回车。下面操作在cmd中进行。

1.1.1 切换盘符

打开cmd之后,输入d: ,回车 ,则是转到d盘;同理,输入e: ,回车,可以转到e盘下。

注意,有一个很重要的前提!!!必须有D盘或E盘才可以切换成功!!其实很好理解,这是在电商上查找路径,如果连盘符都没有,肯定会找不到路径。

 

展示一下:我的电脑有e盘,切换成功;没有h盘,所以报错了。

 

在这里插入图片描述

注意:苹果系统一般都只有一个盘,不用切换盘符。

 

1.1.2 切换路径

输入【cd 文件夹】表示进入到该子文件夹下。

注释:是cd加一空格再加上文件夹路径。

(电脑里必须有创建这些文件夹,才能cd到相应的文件下)

在这里插入图片描述

在这里插入图片描述

1.1.3 查看路径

很简单的一个操作~~直接把文件夹拖到终端或cmd就可以看得到。

 

 

1.2 创建scrapy 项目

举一个具体例子来看看:在桌面的测试文件夹里,新建一个douban项目

1)在桌面创建一个文件夹,自己命名即可

在这里插入图片描述

 

PS:如果你的文件夹在其他盘,切换路径前,先切换一下盘符即可。

2)打开这个文件夹,点击红色框这里,可以看到这个文件的路径为:

【C:\Users\forchange\Desktop\测试文件夹】,复制这个路径

在这里插入图片描述

 

 

3)打开cmd,从上面文件夹路径【C:\Users\forchange\Desktop\测试文件夹】可以知道,这个文件夹在C盘,所以直接用:cd 路径,回车,即可以进入到测试文件夹中,如下图

C:\Users\forchange>cd C:\Users\forchange\Desktop\测试文件夹

在这里插入图片描述

 

切换成功之后,进行下一步,创建项目。

 

4)创建项目文件夹,输入:scrapy startproject [项目名称],回车。

我这里命名为douban,所以是scrapy startproject douban。回车之后一个Scrapy项目就创建成功了~

 

创建成功之后,返回的内容如下:

在这里插入图片描述

 

5)回到桌面打开测试文件夹,可以看到已经有douban这个文件夹存在~

 

下面看看都有哪一些文件:

 

在这里插入图片描述

在这里插入图片描述

 

在这里插入图片描述

 

 

在vscode中打开该项目:

在这里插入图片描述

在这里插入图片描述

 

 

打开后是这样子:

在这里插入图片描述

 

新建两个文件:爬虫文件和main文件(爬虫文件我命名为top250)

在这里插入图片描述

 

 

创建文件小技巧:点击同级的文件,然后点击新建文件按钮。

比如:

创建main.py文件时,单击scrapy.cfg,然后再点击新建文件按钮

创建top250.py文件时,单击spiders文件夹下的__init__.py文件,然后再点击新建文件按钮

在这里插入图片描述

 

敲代码:略。注意敲完要保存~

 

 

二、scrapy 执行

 

2.1 cmd中运行

先转一下路径,转到项目douban文件夹。

比如我这个是打开cmd后输入一下命令

C:\Users\forchange>cd C:\Users\forchange\Desktop\测试文件夹\douban

在这里插入图片描述

 

再输入执行命令scrapy crawl douban,回车即可。

C:\Users\forchange\Desktop\测试文件夹\douban>scrapy crawl douban

 

在这里插入图片描述 2.2 编辑器中运行

vscode或者pycharm都一样,运行main.py文件。

main.py文件代码:

from scrapy import cmdline #导入cmdline模块,可以实现控制终端命令行。 cmdline.execute(['scrapy','crawl','douban']) #用execute()方法,输入运行scrapy的命令。

 

三、总结

一开始接触,比较陌生,可能会觉得比较难,重复操作几遍,其实就会觉得很简单!

无非是,切换路径、创建项目、创建爬虫文件、运行~~

 

-End-

 



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有