问题1：为什么要登陆 　　很多时候，在没有登录的情况下，我们可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。

2.一些页面和接口虽然可以直接请求，但是请求一旦频繁，访问就容易被限制或者IP直接被封，但是登录之后就不会出现这样的问题，因此登录之后被反爬的可能性更低。登录账号可以降低被封禁的概率。

问题2：为什么要搭建cookies池 　　我们可以尝试登录之后再做爬取，被封禁的几率会小很多，但是也不能完全排除被封禁的风险。如果一直用同一个账号频繁请求，那就有可能遇到请求过于频繁而封号的问题。如果需要做大规模抓取，我们就需要拥有很多账号，每次请求随机选取一个账号，这样就降低了单个账号的访问频率，被封的概率又会大大降低。

与IP代理池不同，Cookies池具有针对性，如果你爬微博就要构建一个微博cookies池，爬知乎就需要构建一个知乎cookies池；而IP代理池是通用的，可供不同的爬虫任务共同使用。

比如，当构建微博cookies池时，我们需要一些微博账号，然后使用selenium模拟登录微博，识别验证码，登录成功后，获取该账号对应的cookies，存入redis数据库，从而维护一个微博cookies池，一个账号对应一个cookies。当构建好cookies池后，我们就可以直接通过cookies进行登录，而不需要再模拟登录，包括输入账号密码，识别验证码等操作。

本篇博客中我们将使用redis，flask搭建一个可扩展的cookies池，这里我们将分别搭建微博和知乎的cookies池，之后任意站点的cookies池都可以通过类似的操作进行搭建，可以不断扩展，维护多个cookies池。

我们以新浪微博为例来实现一个Cookies池的搭建过程。Cookies池中保存了许多新浪微博账号和登录后的Cookies信息，并且Cookies池还需要定时检测每个Cookies的有效性，如果某Cookies无效，那就删除该Cookies并模拟登录生成新的Cookies。同时Cookies池还需要一个非常重要的接口，即获取随机Cookies的接口，Cookies运行后，我们只需请求该接口，即可随机获得一个Cookies并用其爬取。

由此可见，Cookies池需要有自动生成Cookies、定时检测Cookies、提供随机Cookies等几大核心功能。

搭建之前肯定需要一些微博的账号。需要安装好Redis数据库并使其正常运行。需要安装Python的RedisPy、requests、Selelnium、Flask库。另外，还需要安装Chrome浏览器并配置好ChromeDriver。

4个核心模块:

Cookies池架构的基本模块分为4块：存储模块、生成模块、检测模块、接口模块。每个模块的功能如下。

存储模块负责存储每个账号的用户名密码以及每个账号对应的Cookies信息，同时还需要提供一些方法来实现方便的存取操作。

生成模块负责生成新的Cookies。此模块会从存储模块逐个拿取账号的用户名和密码，然后模拟登录目标页面，判断登录成功，就将Cookies返回并交给存储模块存储。

检测模块需要定时检测数据库中的Cookies。在这里我们需要设置一个检测链接，不同的站点检测链接不同，检测模块会逐个拿取账号对应的Cookies去请求链接，如果返回的状态是有效的，那么此Cookies没有失效，否则Cookies失效并移除。接下来等待生成模块重新生成即可。

接口模块需要用API来提供对外服务的接口。由于可用的Cookies可能有多个，我们可以随机返回Cookies的接口，这样保证每个Cookies都有可能被取到。Cookies越多，每个Cookies被取到的概率就会越小，从而减少被封号的风险。

还有配置文件config,py和调度模块scheduler.py

以上设计Cookies池的的基本思路和前面讲的代理池有相似之处。接下来我们设计整体的架构，然后用代码实现该Cookies池。

首先分别了解各个模块的实现过程。

配置模块

存储一些各个模块中需要使用的变量和参数配置config.py

需要存储的内容包括账号信息与Cookies信息。

这里就是两组映射，Redis的Hash有天然的优势，所以这里我们就建立两个Hash。Hash的Key就是账号，Value对应着密码或者Cookies。

注意 : 由于Cookies池需要做到可扩展，存储的账号和Cookies不一定单单只有本例中的微博，其他站点同样可以对接此Cookies池，所以这里Hash的名称可以做二级分类。例如，存账号的Hash名称可以为accounts:weibo，存Cookies的Hash名称可以为cookies:weibo。如要扩展知乎的Cookies池，我们就可以使用accounts:zhihu和cookies:zhihu，这样比较方便。

接下来我们创建一个存储模块类，用以提供一些Hash的基本操作。有两个数据库，一个负责存储每个帐号的用户名和密码，另一个存储用户名和Cookies 信息。

db.py

（1）新建了一个RedisClient类，因为所有的账号和cookies是存储在redis中的，所以类名是RedisClient，之后对哈希表的操作，都是针对redis数据库的操作，所以要明白存储模块的类名为什么叫RedisClient;

（2）初始化init()方法里，首先初始化StrictRedis对象，建立Redis连接。然后有两个关键参数type和website，分别代表类型和站点名称，它们就是用来拼接Hash名称的两个字段。

（3）name()方法拼接了type和website，组成Hash的名称;如果这是存储账户的Hash，那么此处的type为accounts、website为weibo，如果是存储Cookies的Hash，那么此处的type为cookies、website为weibo。加@property设置成类属性，这样，后面方法使用就不用加（）当做方法来使用了。

（4）set()、get()、delete()方法分别代表设置、获取、删除Hash的某一个键值对;

（5）username()方法，获取accounts或者cookies里的用户名信息。在generator模块，会比较accounts和cookies用户名accounts中有而cookies中没有的用户名，会用来模拟登陆，生成cookies。

（6）all()方法是取出cookies表里面的所有键值对，在tester的时候会将取出来的进行验证，是否有效；

（7）count()获取Hash的长度;

（8）random()方法比较重要，它主要用于从Hash里随机选取一个Cookies并返回。每调用一次random()方法，就会获得随机的Cookies，此方法与接口模块对接即可实现请求接口获取随机Cookies。取的hvals，所以不会取到用户名，在API模块随机获取cookies会用到。

生成模块负责获取各个账号信息并模拟登录，随后生成Cookies并保存。我们首先获取两个Hash的信息，看看账户的Hash比Cookies的Hash多了哪些还没有生成Cookies的账号，然后将剩余的账号遍历，再去生成Cookies即可。

generator.py

逻辑： （1）定义一个Generator类，初始化方法init()里面要实例化accounts和cookies的db，除此之外还有一个主脚本和new_cookies()

（2）主程序run()方法

先调用2个db的username()方法，将它们各自的用户名取出来。然后通过if判断，将accounts中有，而cookies中没有的username查出来，然后调用new_cookies()生成cookies，因为每个网站对应的有自己的登录方式，所以在此将它们写到各自的子类中分别实现。

模拟登陆完之后，会传递回来一个字典result，根据result中的status键的状态码来判断是否登陆成功。在生成模块里我们可以根据不同的状态码做不同的处理。

result.get('status') ==1成功获取cookies，然后就result.get('content')取出cookies进行加工，具体实现是将cookies中的name-value键值对重新赋值给字典，然后进行json.dum序列化。然后传递给db的set方法进行存储cookies;

result.get('status') == 2就是失败了，账号h或密码错误，从accounts中将此账号的信息删除self.accounts_db.delete(username)

如状态码为3的情况，则代表登录失败的一些错误，此时不能判断是否用户名或密码错误，也不能成功获取Cookies，那么简单提示再进行下一个处理即可。

注意：字典中取某个键的值的方式 result.get('content')

（3）如果要扩展其他站点，只需要实现new_cookies()方法即可。

代码运行之后就会遍历一次尚未生成Cookies的账号，模拟登录生成新的Cookies

chaojiying.py

loginweibo.py：登录新浪微博，需要加一个获取Cookies的方法，并针对不同的情况返回不同的结果

loginzhihu.py：使用requests模拟登录微博，登录成功后，获取帐号对应的cookies

知识点：cookies 根据Netscape公司的规定，Cookie格式如下：

在模拟登陆成功后获得cookies，把cookies字典的name和value提取出来，重新赋值给dict字典，以便后续存储在redis的cookies_weibo中，存储的时候采用set方法，传入采用json.dumps()序列化之后的cookies

我们现在可以用生成模块来生成Cookies，但还是免不了Cookies失效的问题，例如时间太长导致Cookies失效，或者Cookies使用太频繁导致无法正常请求网页。如果遇到这样的Cookies，我们肯定不能让它继续保存在数据库里。 　　所以我们还需要增加一个定时检测模块，它负责遍历池中的所有Cookies，同时设置好对应的检测链接，我们用一个个Cookies去请求这个链接。如果请求成功，或者状态码合法，那么该Cookies有效；如果请求失败，或者无法获取正常的数据，比如直接跳回登录页面或者跳到验证页面，那么此Cookies无效，我们需要将该Cookies从数据库中移除。 　　此Cookies移除之后，刚才所说的生成模块就会检测到Cookies的Hash和账号的Hash相比少了此账号的Cookies，生成模块就会认为这个账号还没生成Cookies，那么就会用此账号重新登录，此账号的Cookies又被重新更新。

定时检测数据库中的Cookies 能否正常登录。检测模块需要做的就是检测Cookies失效，然后将其从数据中移除。tester.py：

代码解析： （1）父类 　　为了实现通用可扩展性，我们首先定义一个检测器的父类，声明一些通用组件，实现如下所示：

在这里定义了一个父类叫作ValidTester，在init()方法里指定好站点的名称website，另外建立两个存储模块连接对象cookies_db和accounts_db，分别负责操作Cookies和accounts的Hash，run()方法是入口，在这里是遍历了所有的Cookies，然后调用test()方法进行测试，在这里test()方法是没有实现的，也就是说我们需要写一个子类来重写这个test()方法。

知识点1：****dic.items()

用于提取字典种的key和value值，并将key和它对应的value用元组包围起来，返回值的类型是 dict_items

知识点2： 　　Python编程中raise可以实现报出错误的功能，而报错的条件可以由程序员自己去定制。在面向对象编程中，可以先预留一个方法接口不实现，在其子类中实现。如果要求其子类一定要实现，不实现的时候会导致问题，那么采用raise的方式就很好。而此时产生的问题分类是NotImplementedError。

（2）子类 　　每个子类负责各自不同网站的检测，如检测微博的就可以定义为WeiboValidTester，实现其独有的test()方法来检测微博的Cookies是否合法，然后做相应的处理，所以在这里我们还需要再加一个子类来继承这个ValidTester，重写其test()方法，实现如下：

首先，在初始化时，继承父类的init(), 有如下2种方式

然后，test()方法。 第一步：将Cookies转化为字典，检测Cookies的格式，如果格式不正确，直接将其删除。

json.loads（）反序列化，读取。（和dumps相反，loads函数则是将json格式的数据解码，转换为Python字典）

第二步：1.如果格式没问题，那么就拿此Cookies使用requests模块请求被检测的URL。（检测的URL可以是某个Ajax接口，为了实现可配置化，我们将测试URL也定义成字典）。对微博来说，我们用Cookies去请求目标站点，同时禁止重定向和设置超时时间 　　　　2.得到Response之后检测其返回状态码。如果直接返回200状态码，则Cookies有效，否则可能遇到了302跳转等情况，一般会跳转到登录页面，则Cookies已失效。如果Cookies失效，我们将其从Cookies的Hash里移除即可。状态码检测完成之后，还可以通过检测某个标志性的东西，是否存在于新页面。进一步做判断。

生成模块和检测模块如果定时运行就可以完成Cookies实时检测和更新。但是Cookies最终还是需要给爬虫来用，同时一个Cookies池可供多个爬虫使用，所以我们还需要定义一个Web接口，爬虫访问此接口便可以取到随机的Cookies。我们采用Flask来实现接口的搭建。提供对外服务的接口。api.py:

接口模块主要分成以下几部分： 1、导入flask，实例化一个Flask对象，在主程序中开启flask服务

2、通过flask的g对象，使用反射，为flask设置属性，也就是链接redis实例化出我们的cookies_weibo数据库，方便后面调用set()、random()、counts()方法

3、通过flask的路由，建立几个视图函数。调用cookies_weibo数据库的set()、random()、counts()方法

完整代码

我们同样需要实现通用的配置来对接不同的站点，所以接口链接的第一个字段定义为站点名称，第二个字段定义为获取的方法，例如，/weibo/random是获取微博的随机Cookies，/zhihu/random是获取知乎的随机Cookies。

知识点1：

要想明白“@app.route()”的工作原理，先看一看Python中的装饰器（就是以“@”开头的）。理解了装饰器的概念，再继续来看路由：

什么是路由：处理URL和函数之间关系的程序。简单的说：路由就是将URL绑定到一个函数上面，这样浏览器客户端向web服务器发送一个URL请求后，服务器中的路由收到这个URL后，能立马找到对应的函数进行处理。

以下三个路由的例子：

注意本例中add视图函数，传参规则

还有一些需要注意的URL规则：

这指定/users/将是第1页的URL，并且 /users/page/N将是第N页的URL

知识点2： for 直接循环一个字典时,下面这种情形，出来的结果只有key，没有value

知识点3：反射的应用

在g对象中3次使用反射

知识点4：eval()的调用 　　eval() 函数用来执行一个字符串表达式，并返回表达式的值。

这里是想使用eval方法实例化一个accounts_weibo对象，ReidisClient是类，实例化时给init()初始化函数传参，也就是之前的type和website

注意:

最后，我们再加一个调度模块让这几个模块配合运行起来，主要的工作就是驱动几个模块定时运行，同时各个模块需要在不同进程上运行。

思想： 1.定义一个Scheduler类。里面有一个run方法，是它的主脚本；除此之外还有3个方法generator、tester、api，将generator和tester的map字典进行遍历，同时利用eval()动态新建各个类的对象，调用其入口run()方法运行各个模块;

2.在run()主脚本里，先使用if判断在配置文件中是否开启执行generator、tester、api的开关。如果开启了，就在本模块里通过多进程的方式，使它们各自调用起来。

scheduler.py

知识点1：进程 同时，各个模块的多进程使用了multiprocessing中的Process类，调用其start()方法即可启动各个进程。

另外，注意target后跟的是函数名，不加括号

知识点2：eval的使用

至此，我们的Cookies就全部完成了。