python爬虫实战

基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。

目标网站：传送门

本文的目标书籍：《我的师兄实在太稳健了》

“渡劫只有九成八的把握，和送死有什么区别？”

网络爬虫的工作实际上主要分为三个部分：

接下来看看我们的需求是什么：

获取目标书籍的基本信息，包括书籍的书名、作者、最近更新时间和简介——这些信息应该都在同一个页面中获取，即目标书籍的主页；

获取目标书籍每一章节的标题和内容——不同章节在不同的页面，不同页面之间可以通过下一页按序跳转；

正文部分的存储格式应便于阅读，不能把所有文字都堆积在一起，也不能包括除了正文之外的其他无关内容；

因此，我们首先尝试请求书籍的主页，获取基本信息，借此学习请求和解析网页内容的基本方法；紧接着再从书籍的第一章开始，不断地请求“下一页”，直到爬取所有内容，并将它们以合适的格式储存在文本文档中。

首页链接：http://www.365kk.cc/255/255036/

首先，我们观察一下该网站不同的书籍主页：

可以看出：不同书籍的主页具有非常相似的结构——标题、作者、最近更新时间、最新章节和正文都在相同的位置上。

如何表征这一位置？这就需要借助python爬虫中常用的网页解析方法——XPath语法。

以书名为例，在你的浏览器（以Google Chrome为例）中选中书名，点击右键 -> 检查：

可以看出，浏览器下方弹出了一个窗口，这里显示的就是该页面的源代码，我们选中的内容位于一个标签中。我们点击右键 -> 复制 -> 复制 XPath，即可得到书名的XPath路径，也就是书名在网页中的位置。

从书籍的首页中，我们需要获取的信息主要包括：

按照上述方法，分别获取它们的XPath路径，依次如下：

/text() 表示获取文本

现在，我们得到了想要的内容在网页中的位置，只要请求到网页内容，就可以获取指定位置的内容了。

我们使用比较基础的python爬虫网页请求方法：使用 requests 库直接请求。

这里涉及到了简单的反爬虫知识：在请求网页时，我们需要将我们的爬虫伪装成浏览器，具体通过添加请求头 headers 实现。

请求头以字典的形式创建，可以包括很多内容，这里只设置四个字段：User-Agent, Cookie, Host 和 Conection。

既然是为了伪装成浏览器，相关字段的内容当然要从浏览器中获取。

在刚才打开的页面中，我们点击 网络（英文版是Network），刷新页面，找到其中的第一个文件 255036/ ，打开 标头 -> 请求标头 ，即可得到我们想要的字段数据，如下图所示。

这里的文件255036/实际上就是小说主页的文件，可以看出，主页的链接为http://www.365kk.cc/255/255036/，链接后缀刚好与文件名一致。

使用 requests 库的 get 方法请求网站内容，将其解码为文本形式，输出结果验证，完整的代码如下：

运行代码前，需要向 headers 中填入你自己浏览器的信息。

输出结果如下：

可以看出，我们成功请求到了网站内容，接下来只需对其进行解析，即可得到我们想要的部分。

我们使用 lxml 库来解析网页内容，具体方法为将文本形式的网页内容创建为可解析的元素，再按照XPath路径访问其中的内容，代码如下：

输出结果如下：

至此，我们已经学会了基本的网页请求方法，并学会了如何获取目标页面中的特定内容。

接下来，我们开始爬取正文。首先尝试获取单个页面的数据，再尝试设计一个循环，依次获取所有正文数据。

以第一章为例，链接：http://www.365kk.cc/255/255036/4147599.html，获取章节标题和正文的XPath路径如下：

按照与上文一致的方法请求并解析网页内容，代码如下：

输出结果如下：

可以看出，我们成功获取了小说第一章第一页的标题和正文部分，接下来我们将它储存在一个txt文本文档中，文档命名为之前获取的书名 bookTitle.txt，完整的代码如下：

运行结束后，可以看到在代码文件的同路径中，已经生成了一个文本文档：

打开该文档，可以看到储存好的内容：

储存好的内容中，大段的文字堆积在一起，而原文确实有着段落的区分，因此我们在储存文件时，每储存一段，就写入两个换行符 \n，使格式更便于阅读：

至此，我们已经完成了单个页面的数据爬取和存储，接下来只要设计循环，实现顺序爬取所有页面即可。

本文中，用到的文件读取类型主要有：

我们注意到，正文的每个页面底部，都有一个按钮下一页，其在网页中的结构为：

我们在XPath路径的末尾添加 @href 用于获取属性 href 的值：

这里有一个小细节需要注意！

我们获取到的属性值在不同页面可能是不一样的，比如:

观察不同页面的链接，可以看出前缀是一致的，区别仅在后缀上，比如第一章第一页和第一章第二页的链接分别为：

因此，我们只需要获取 {% kbd 下一页 %} 的链接后缀，再与前缀拼接，即可获得完整的访问链接。

编写一个函数 next_url() 实现上述功能：

输出如下所示：

在爬取某一页面的内容后，我们获取下一页的链接，并请求该链接指向的网页，重复这一过程直到全部爬取完毕为止，即可实现正文的爬取。

在这一过程中，需要注意的问题有：

按照上述思想，爬取前6个页面作为测试，完整的代码如下：

运行结果如下：

观察我们得到的文本文档，可以发现如下问题：

为了解决这些问题，我们编写一个函数 clean_data() 来实现数据清洗，代码如下：

清洗后的文档中，每段段首无缩进，段与段之间仅空一行，不同章节之间插入20个字符 - 用以区分，上述问题得以解决。

需先填入自己浏览器的 headers 信息才可以直接运行！

爬取过程如图：

上述的开发流程基本上是想到哪写到哪，所有代码都堆在一个文件里，可读性较差。

可以参考Scrapy框架的规则，将不同作用的变量和代码分配到不同的文件中，提高整个项目的可读性。

参考的文件结构如图所示：

其中：