爬取qq音乐

     今天早上闲着没事，看看qq音乐的评论爬取，当然我也没有具体的爬取哪些内容，只是分析了他的请求网址。

      我总结出爬取网页信息的几个方式。首先直接查看网页源代码，查看网页源代码是否有你想要的信息，如果有的话直接请求网页然后解析就行了，这是最简单的方式。不过大多数的网站都是异步加载，这时候就需要使用谷歌或者火狐浏览器的开发者模式（f12），查看请求，然后找到相应的请求网址，这样的请求一般都会有请求参数，js加密。如果前两种方式都没有找到自己想要的数据源，直接ctrl+shift+f进行全局搜索，截取自己想要数据一部分进行搜索，这样一般会找到相应的数据，js解密就需要这样找到加密参数所在的js文件。这次qq音乐评论就是这样的一个请求方式。评论没有在源码，也没有在f12找到，全局搜索才找到的。

         这三个方式基本上可以找到大多数的信息，知道昨天遇到了个是这三种都没有的，它是直接在网页源代码里js生成数据，这样肯定是找不到数据的，对于实在是找不到在哪里的，直接selenium，这样所有的都可以获得，简单粗暴，不过时间比较长，对于爬取信息较少的可以采取这种方式，特别是爬取视频的时候，大多数小视频的播放地址都会通过f12在查看元素的时候找到。

       昨天晚上试验了一下scrapy-splash这个，确实获取js加载之后的内容，比如爬取京东，淘宝商品信息的时候，普通的请求是啥都没用的，渲染之后会将商品信息渲染出来，我准备试试能不能将视频的地址也给渲染出来，发现其他的都能出来，就是视频地址没用出现，可能是我脚本不够全面，我也不会写那个lua脚本，只是在网上找了一个实验一下。

      （1）找到信息请求：

          前面的简述上，直接采用全局搜索直接寻找评论所在的请求：

         我以这首歌https://y.qq.com/n/yqq/song/001Q3Rlo428b8g.html为例

          随便找个评论，随便截取一小段话就ok，然后全局搜素

这就找到了相应的请求，然后复制url，到记事本上进行分析

  这是一个很长很长很长的url，不过里面大多数的参数是没有用的，这就需要你耐心的寻找参数。

 简化之后：

是否可以继续简化我也不知道，你们可以再试试，主要变化的是两个参数，歌曲的id和页码的变换，页码可以简单的构造，但是歌曲的id我们不知道，我们要先找到歌曲id，首先查看网页源代码里是否有，发现

这就找到了，再试试其他的歌曲id能否成功，很显然是可以的。

代码很简陋，毕竟我只是讲解分析的过程，至于详细的抓取那些，读者可以自己进行改进。qq音乐评论还是很简单的，没有加密参数，网易云的就比较难。