Python爬虫

百度指数是由百度提供的一个用于测量特定关键词或搜索词在百度搜索引擎上的搜索量和搜索趋势的工具。它通过分析用户在百度上的搜索行为和搜索量，提供了关键词的搜索指数和相关数据，以反映关键词的热度和受欢迎程度。通过百度指数，用户可以了解到特定关键词在一段时间内的搜索趋势、地域分布以及与其他关键词的对比情况。

不少社会研究分析都用到了百度指数，百度指数提供了大量的搜索行为数据，反映了人们在百度搜索引擎上的兴趣、关注和需求。这些数据可以帮助我们了解社会话题、事件和趋势，从而进行相关的社会科学研究。

你肯定见过像下面这样的动态排序图，那么就可以通过百度指数获取某一日期区间的数据，做出如某时间段内多个品牌热度对比的动态排序图。

那么直接开始正题，我们来到百度指数官网：百度指数

可以看到百度官方也贴心的给出了统计图表，便于观察数据，鼠标光标会显示具体某一天的数据，这说明我们可以获取到具体到天的数据。

同时我们可以选择多个关键词选择时间区间进行对比，另外还可设定数据地区，用户设备种类等，接下来我们具体分析。

老规矩，首先按F12打开开发者工具，查看网络请求

很容易发现，接口地址为：https://index.baidu.com/api/SearchApi/index?

查看请求标题后发现这是一个GET请求，负载数据直接拼串在接口链接后面即可。

接着我们分析响应的数据：

"startDate" 和"endDate"对应年份区间；

pc wise all对应不同设备的数据；

data 也就是我们需要的数据，但是很显然加密了，因此我们后续还需解密。

那么，假设我们得到了这组数据，即一个字典格式的json文件，我们可以将其格式化保存，并读取各个键值对数据。

但问题在于data中的数据：kwwQkkoQwFkQkwoQwFGQwFGQwF-Q很显然是加密的，我们即便获取了这样的数据也无法阅读，但是网页上显示到的数据又是正常显示，这说明网页后端必然存在解密的js代码。

我们回过头来继续观察：

观察上面的结果，我们惊喜的发现，每个json文件中必然包含着一个uniqid这样一个特殊值，而恰巧网页又以这个唯一值为载体发送了一次请求。

这个请求返回了一个键值对，"data":"J,y8vIBmLWlCuw901+3-5%9,8.2746"

我们暂且将其命名为ptbk，这变量名称可能由token，key之类组成，猜测其作用为解码字，密钥之类。

我们紧接着查看这个请求，并在网页JS源代码中搜索，果不其然，发现了相关踪迹：

而decrypt就是解密的意思！紧接着我们顺藤摸瓜，搜索decrypt，结果我们就发现了其解密函数。

看不懂？没关系，我们有Chatgpt，我们跟它说明原委，让它翻译就好了。

（另外，互联网上也有大佬已经开源了现成的解决方案。）

既然数据能够到手，我们接下来的工作就是将数据保存，我们可以将结果保存到json中，用来进行可视化展示处理。也可以存入Excel文件中，首列通过data库输出每天的日期，第二列开始为关键词的数据，如下图所示。

但这里其实有很多问题尚未解决，如：

这些都是我们需要去解决的细节，细节处理与考虑周全很大程度上都影响了代码质量，最终影响数据准确性。

和一般的网站爬虫无异，我们还是使用request库，并配置headers进行伪装。

需要注意的是，请求头配置中务必填写自己的Cookie，如果Cookie缺失或错误，直接导致数据获取失败！！

至于如何获取Cookie，下面是一种简单的手动处理方式：

(为了自身账号安全，请务必保管好自己的Cookie，切勿发送到公开场合)

紧接着我们利用软件发送请求，获取json文件以及uniqid解码字。

在获取到data数据和ptbk解码字后，我们即可调用解码函数进行翻译，获取原始数据。

但是在测试过程中我们发现，data值的获取具有上限，如果一次性获取跨年数据，则数据大概率残缺。

关键的一步来了！我们按年份逐次进行多次请求，并将每年的结果拼接成完整的数据列表！

在这一过程中，我们要确保每年的数据数量为365个，润年为366个，若数量缺失则用0从左侧补足。

由此，我们能确保拼接而成的数据列表能与日期一一对应。

注意，由于我们需要获取特征值，上面的代码中，我们创建了res文件夹存放第一次请求的结果，将数据暂存，防止数据丢失。

在经过上面的代码后，我们即可得到一个字典数据：result

其基本格式为：{"name":"关键词","data":[123,123,123,432,453,634]}

最后，我们只需要对数据进行保存，如前所述，我们将其保存到Excel文件中。

为此，我们需要创建Excel表格并进行读写操作。