批量爬取某音乐网站的音源

目录

对一首歌的爬取（方法一）

对一首歌的爬取（方法二）

批量获取音源

需求分析：

目标网站：酷X音乐（涉及版权）

实现目标：嘉宾这首歌的所有音源爬取

代码实现步骤：

查看网页

通过浏览网页源代码我们可以判断，网页数据是动态加载，还是我们所要获取的数据就在源代码当中，本文中所介绍的XX音乐的音源数据是属于动态加载，我们打开开发者工具，在搜索框中搜索mp3，点击Priview选项，可以找到我们所要爬取的所有数据，列表页图解如下：

一首歌曲的爬取（方法一）

打开目标页面，按F12进入开发者工具，点击network中的Media，我们可以看到在页面音源没有被播放的时候，media中是空的，当我们按下播放键之后，页面会刷新一个响应数据，此时我们双击该响应值，就会自动播放我们的目标歌曲，点击Headers，复制Request URL:在新的页面打开，也可以播放目标歌曲。图解如下：

找到响应的url后，此时我们可以很简单的就获取到我们想要下载的音乐

一首歌的爬取（方法二）

当我们浏览歌曲详情页面时，打开开发者工具，在搜索框中搜索mp3，可以找到到歌曲的详情数据，我们可以查看该选项的url，可以发现此时的url是由很多的参数拼接成的，而在payload中可以找到相应的参数，我们爬取一首歌的情况下，可以直接复制Url,不用设置param中的参数

写到这里的时候，使用json.loads将json格式的数据转换成python数据，我发现运行以后会有报错

oads() 传的是python的dict字典类型，而我们刚刚传递的类型不符合，所以报错了,此时我们打印一下res.text，发现输出的内容除了我们的目标数据，还多了jQuery191033221067126349535_1683528994015（）；这组数据将我们的目标数据括起来了，使得输出的数据不是完整的json数据，那么只要我们把多出的部分替换成空就好了

此时我们就得到了我们想要获取的音源地址，在请求该地址，再保存文件即可，流程和方法一一样，我就不过多的赘述了。

批量获取目标数据

上面我们已经实现了对一首歌的爬取，那么我们如何实现对多首歌曲的获取呢，前面在查看网页的时候我们已经介绍到了，网页数据是动态加载的，没有在源码中，我们在搜索框中搜索mp3，会出现相应的符合条件的响应对象，我们可以在priview的data中找到歌曲列表的数据，如图所示：

那么我们如何通过列表页面，获取到歌曲详情页面的音源数据呢，继续查看网页，前面我们说到，歌曲详情页面的Url地址是由以下几个参数拼接成的：

我们可以多看几个详情页，发现callback、和encode_album_audio_id，这两个参数是会发生变化的，而最后一个参数实际上是一个时间戳，也就是当前浏览页面的时间，而callback中变化的参数实际上是一个时间计时，后续我们可以用time库来处理，自己创造一个时间计时来表示访问时间，而encode_album_audio_id可以在列表页中找到，它对应的就是列表页中，lists下的EMixSongID

也就是说其他的不变的参数，我们可以直接复制粘贴，写在param中，那么我们实际要请求的地址就可以是wwwapi.kugou.com/yy/index.ph… 上面介绍的参数。

此时我们整体思路就清晰了：

1、对列表页请求获取data下的Lists中的EMixSongID和FileName，也可以获取hash，以前url中是写有hash值的，但是现在请求地址中没有了，所以这里我们只获取两个数值。

2、把获取到的id值和其他参数一起写在data{}字典中，再请求详情页的url，获取mp3音源地址

3、请求获取的音源地址，保存音源

第一步：

获取列表页data下的Lists中的EMixSongID和**FileName*

第二步

把获取到的id值和其他参数一起写在data{}字典中，再请求详情页的url，获取mp3音源地址

前面我们讲到callback的参数变化使用time库中的time函数解决，我们可以对比几个详情页，发现jQuery1910后的几个数字是变化的，'_'后的16835这几个数字是不变的

第三步

请求获取的音源地址，保存音源

列表页的音源我们就获取到啦！！！！！