python 网页爬虫实践（附完整代码）

PS: 封面照片由大师姐拍摄，版权归大师姐所有。

本文将介绍如何从简书页面抓取全部超链接，以及如何从简书抓取页面文章标题和正文内容，并且将抓取到这些信息存入txt文档中。

本文仅作为python爬虫技术学习交流，尊重作者著作权，不对抓取到的文章做其他用途。

0. 要抓取的页面介绍

1.抓取简书页面所有的超链接

2.保存所有的超链接

3.抓取1中超链接对应页面的文章标题和正文内容

4.保存抓取的文章标题和正文内容

文章最后附完整代码

本文将以抓取如下页面为例进行展开：

这是一个包含英语流利说付费课程，懂你英语level1-level8全部笔记链接的汇总页面。我们将在1、2中抓取出这些有用的笔记链接。

在3、4部分将循环进入所有的笔记页面，并抓取所有的标题、正文，并保存。下图是其中一个详情页面的例子。