完全小白篇

作为python小白，这篇博客仅作为我的一个学习记录。 本篇我就拿一个实际案例来做吧，短短50行代码调试了一晚上，爬虫还得继续好好学啊！拿最近很火的《元龙》举例。 （采用读书网的资源）

打开最开始的那章，按F12看一下网页代码，首先需要注意的地方无外乎两点：

在开始之前，先简单介绍一下这次使用到的库文件：

emm，如果有的苦还没有安装，那就pip就好了。 在任何一处cmd窗口下输入：

接下来我们开始一步步完善我们的思路：

很好，使我们想要的结果。soup就是一模一样的这个网站的信息

这里就要使用bs4库中的搜索函数find_all()，以及re库中的提取函数.findall() 我们首先搜索所有必要的item：

我们定义一下提取的方式：

(.*?)

这样，便可以将标题和正文的内容全部提取出来了

现在我们完全可以处理一个网页的信息了，那么如何跳转到别的章节呢？ 利用a标签“下一章”的跳转链接即可 同样，还是

正则对象（规则）为：

现在的代码段为：

(.*?)

程序本身已经完全可以将各个章节打印了

其实每获得一次title，每获得一次end，就完全可以对一个docx文档进行写标题、写段落操作了 这里提示几个操作的docx文档的必要语法：

在完成一系列操作后，我在运行时，前几章是完全没有问题的。然而，随着章节增加以及访问次数的增加，出现了一个新的问题：访问无限超时。可能是每个小说网站都存在这个问题，连续高频访问可能就会在某次访问突然“掉线” 查了很多方法，在这里总结一下各个比较通用的方法以及效果：

但是确实，效果不明显，当章节多了仍然会无限超时

设置DNS 比如，将本地的DNS优先设置为阿里的，或者腾讯、百度的公用DNS，效果是有的，但事实上是超时的出现减少了，当超时出现时仍然无法得到解决

超时重传 有点综合以上两种方法。查了很多，但是可能是需要一定基础的，诸如retry()等。 这里我采用了最基础的try： 首先增加一个库：from requests.adapters import HTTPAdapter 在我们的函数中，req这个变量进行一些新的设置：

另外，对于req设置超时时长：

如果超时，打印错误：

总代码如下：

(.*?)

好吧，免费获得了一个4.5MB的.docx文档，以后不用再上网看这部小说了！ 当然，针对这个程序的话，读书网的所有小说都可以爬了。 （其实我还是得上网看，800多章还是直接用目录跳转方便） 不过，学习为主，又获得一项用50行代码在别人面前秀一秀的技能。