暑假闲来无事，研究了一下QQ空间的爬取，以下是一些记录

QQ空间的反爬做的相对较好，而且由于好友权限的原因，我们要先登录后再进行说说等信息的获取

selenium是获取登录cookies的一大利器，非常方便

在空间的登陆界面可以观察到，登录的窗口与背景窗口是分开的，所以我们需要先切换frame

切换窗口后定位到账号密码登录元素的位置后点击

使用send_keys函数把账号和密码写入对应位置后定位登录元素后点击，这里使用自带的get_cookies函数获取到cookies，但是这个cookies需要过滤一下，具体操作看以下代码

代码为类的部分节选，完整代码在最后，未声明的变量皆为类的成员变量

在打开开发者工具后，在众多XHR对象中发现emotion_cgi……里面的msglist即是说说的内容

这里的msglist是个列表，里面有0-20条不等的说说，可能跟空间发的说说的形式问题相关，至多不超过20条

稍微猜测一下这里的参数的含义，一眼明了的我就不说了，我不清楚的也没有肆意揣度

cmtnum 转发数

commentlist 评论列表，里面是每条说说的评论内容

conlist 内容的一个列表，里面有两个参数，一个是内容一个不知道有啥作用，取内容的话直接取下面的content也是一样的

created_time 说说发表的时间戳

isEditable 是否编辑过

lbs 位置信息

name 你给的备注，没备注就是昵称

pic 如果发的说说有图片则在这个键下面，但是如果没有图片则没有这个键

pictotal 图片数量，没有图片则没有这个键

rt_sum 猜测是转发数量

source_appid 说说来自的app标识

source_name 说说来自的设备名称

source_url 说说来自的网址

tid 这个是每个说说独一无二的标识，可能是根据某些变量使用特定的算法得出的，直接使用即可

uin 该说说的作者QQ

当然如果是转发的说说，这里还会多别的一些键值，我这里未对转发说说进行处理，只是单纯地取出该QQ转发时发送的内容，有兴趣的朋友可以加以改进

下面我们看一下这个内容的获取网址构成

在Headers选项中可以看网址的构成参数

经过尝试发现，uin后面对应目标QQ号，sort可能对应排序方式，我采取的默认值0，pos这是个关键参数，其改变决定了返回数据的范围，num是返回的说说数量，我选用的是默认值，不知道增大会有什么变化，读者可以尝试

最后一个关键参数是g_tk，这是个加密参数，有了这个才能正确登录

经过网上的搜索发现是js，破解的方法见下图

随意点开一个人的空间，进行如下操作

搜索g_tk=后面的关键词

找到对应的函数，这里的函数读一下之后将其转成对应的python语言即可