爬取QQ音乐中一首歌的相关信息及评论（破解反爬虫、多协程队列爬虫）

刚写完这个实验作业，顺便来记录一下一些易错的地方：

项目框图：

先从歌手页爬取到这首歌的相关信息，包括它歌曲、专辑的url。这里要说一下，刚开始在歌曲详情页、播放器页面找了很久都找不到爬取歌曲时长的地方，结果！当我打开歌手页的时候，发现： 这不明摆着的吗？？？

所以呀，在爬虫之前，一定要先对相关页面有足够的了解！

上面的内容直接用Beautiful Soup4 数据解析就能搜集到。

歌词：进入详情页爬取 通过抓包，发现是个ajax请求，点开注意一下url和请求方式、返回数据类型即可。

注意：这里有个问题困扰了很久！！ 你会发现对歌词的url进行请求时：

如果你只添加了headers，它是不会返回正确的数据的（会告诉你请求失败），这是为什么呢？ 我在网上搜索后发现，原来是存在反爬虫，需要再添加referer！

Referer是HTTP请求Header的一部分，当浏览器向Web服务器发送请求的时候，请求头信息一般需要包含Referer。该Referer会告诉服务器我是从哪个页面链接过来的，服务器基此可以获得一些信息用于处理。

Referer作用是什么？

1）防盗链 比如办事通服务器只允许网站访问自己的静态资源，那服务器每次都需要判断Referer的值是否是zwfw.yn.gov.cn，如果是就继续访问，不是就拦截。

2）防止恶意请求 比如静态请求是.html结尾的，动态请求是.shtml，那么所有的*.shtml请求，必须 Referer为我自己的网站才可以访问，这就是Referer的作用。

（有些网站没有Referer直接写一个UA伪装就可以获取数据）

正确书写形式：

Referer填写的就是你要访问（请求的）那个网页，或者是包含你想发送请求内容的那个页面。

举个例子： 我们想要获取歌词，歌词在： 这个页面的蓝色标识的url中，我们想对这个蓝标的url发送请求时，就必须加上Referer:https://y.qq.com/n/yqq/song/001NmPTG1fVsUw.html，加上后就可以正常请求数据了。

评论： 点击之后都是局部网页刷新，所以直接抓包找xhr即可。

注意： 刚开始进去的页面，如果你不点第二页或者加载更多，它只有一个这个： 可以看到里面包含了热门评论、普通评论，但很明显这并不方便我们爬取数据，所以再我点击之后发现，果然又多了几个xhr：

这个是最新评论： 这里同样需要注意一下请求方式和返回数据类型，更重要的是查看它需要的参数！！（用于遍历获取更多的评论），这里最重要的就是pagenum和pagesize（顾名思义）。

这个是热门评论，跟上面获取最新评论一样。

下面显示的是点赞数的获取：

1、字典的读取

在获取字典中的信息时，最好这么写，因为你不知道里面到底有没有数据。

2、用字典存储数据时，要先对键进行初始化，之后再用.append加入值（实现一键多值）。

3、10位秒级，要把这个时间转换成我们方便看的时间：

4、编码形式，最好用utf_8_sig，如果用gbk可能有些特殊符号无法解码，导致报错，用utf-8中文会乱码。

5、多协程队列爬虫：

主要部分： monkey.patch_all()（帮助程序实现异步，要放在最前面）

work=Queue()

work.put_nowait()（将数据放入队列）

while not work.empty()（如果队列不为空继续循环）

work.get_nowait() （获取队列中信息）

6、html编码 在获取歌词时： 发现有一些类似&#的不明编码，处理方式：

1、正则表达式提取内容

2、html.unescape()