爬取听书网有声小说音频数据

朋友最近迷上了听有声小说，可是因为很多的有声小说网站都需要vip才能听，所以他想让我帮他把小说弄下来，方便他可以随时在手机上听。我在网上搜了一下他听的这部小说，的确有很多大的听书网站都需要vip才能听，所以我就找了一个小的网站，帮他把小说爬取了下来。因为他听的小说是一个很有名的作者的，为了保护作者的权益，本文的案例就没有拿这个作者的小说来进行爬取，用了另一部小说来进行爬取讲解，大概的爬取思路都是一样，所以可以借鉴本文的思路。

本案例网址：https://www.88tingshu.com/29101/

本案例的这部小说一共有178个章节，所以也就对应了178个音频数据，我们需要爬取到小说的名字，每一个章节的链接地址，然后在分析每一个链接地址，找到真实的音频数据地址。如图：

网页的链接通过查看开发者工具，可以分析出网页是个html的数据网页，数据也就在html网页源码中，继续分析，随便点开一个章节链接，网页跳转到了另一个窗口，然后会自动播放该章节的小说，如图：

其实要找到该音频文件很简单，只要定位到network下的media选项就可以看到正在播放的音频数据了，如图：

从图中可以看出，该音频数据是一个m4a格式的音频数据，这个网址就是真实的音频地址，那么问题来了，只有这一个网址，也只能爬取一个章节的小说，我们的目的是爬取所有章节的小说，所以显然只知道这个小说的音频地址是没用的，下面我们就需要把这个音频地址的出处找出来，通过经验，我们可以搜索这个音频地址的后面的文件名字， 通过搜索该名字我们定位到了一个新的网页链接，如图：

可以很明显看出，和真实的音频地址是一样的，只不过缺少了**.m4a**这几个字，我们大概断定这个网页就是包含了真实音频数据的地址网页，可是这是一个新的网页地址，那么这个地址又是那里来的呢，没关系，我们继续搜索该地址试试，

可以看出我们通过搜索又定位到了一个新的网页，里面有一个iframe的标签，该标签下有一个src的属性，里面的网址和我们之前搜索的网页网址大概是一样的，只不过这个网址不全，只有网址的后半段，缺少前半段，我们只需要补全前半段就可以了，通过这一系列的分析，大概确定了，该网址就是包含了上面网址的数据网址，最后只要确定该网址是哪一个网址就行了，经过确定，该网址就是每一个章节链接的地址，这整个分析过程就算完成了，基本就可以把这个小说的有声书给爬取下来了。

现在大概说一下爬取思路，先通过小说首页把每一个章节的链接地址和小说名字给爬取下来，然后在通过爬取下来的每一个章节的链接，找到该链接地址里面的包含的另一个包含真实音频数据的小说链接，在通过这个链接找到真实的音频数据，最后保存数据。