python 爬虫禁止访问解决方法（403）

在上一篇博客中说到，程序使用一段时间后会遇到HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。 解决这个问题有两种方法。一是将请求加以包装，变成浏览器请求模式，而不再是“赤裸裸”的请求。 但有时服务器是根据同一IP的请求频率来判断的，即使伪装成不同浏览器。由于是同一IP访问，还是会被封。 所以就有了第二种方法，就是降低请求频率。具体说来也有两种方法。一种是在每次请求时暂停短暂时间，从而降低请求频率。 第二种是使用不同的IP进行访问。显然第一种方法不是最佳选择。 因为我们并不希望下载太慢，尤其是在请求次数很多时。当然如果间隔很短时间，从感官上并无差别，如0.1秒。 但对于服务器而言频率就降低了很多。 所以这是一种最安全可靠的办法，尽管我们并不想用它。第二种方法也就是使用代理IP。下面逐一介绍。

在浏览谷歌地图时会发现，浏览了大量数据依然没有被封IP，但程序中我们只下了几百张瓦片， 就被封了。主要原因是我们是直接Get请求数据，而浏览器的请求是有Header的。 基于这一点，把请求伪装成浏览器请求，就可以解决这个问题了。 代码如下：

如下所示，获取到的网络上的图片：但有时这样的做法也不一定有用。前面也说到，服务器是根据IP判断。 给请求增加Header只是伪装成不同的浏览器而已。如果同一个IP在短时间内频繁访问， 就算是浏览器请求也会被拒绝掉。因此对于这个问题就只好从另一个方面着手，即适当降低单个IP访问频率。 对于每个IP而言，每次请求操作之间都暂停一段时间。同时利用多个IP进行访问。通过这两种手段可以降低被拒绝的可能性。

简单地说是通过自动更换不同IP来“迷惑”服务器，让它认为是来自不同电脑的访问请求， 从而不会被拒绝掉。由于代理IP的时效性很强，所以需要经常更换。最好是“现用现找”。代码如下：

在之前由于过多使用，导致本机IP被封，所以无法访问Google地图瓦片，出现如下提示。运行这段代码后，就可以成功获取瓦片，如下所示：这样就成功解决访问瓦片403问题了。 至于在哪找免费的代理IP，可以点击这里。代码列表中的IP就是在这里找的。 网站中还有更多付费的高级功能，如果有需要也可以购买。这里只是简单测试，就不买了。

说了上面两种方法后，很自然地就会想到把两种方法结合起来。这样就会大大提高请求的种类。 如在下面的代码中Header有13个，IP有6个，排列组合就有78中请求。从理论上来说， 组合数越多就越不容易被封。同时再加上请求延迟，是较好的解决方案。

上述代码中，将每一次使用的代理IP、Header都输出到了控制台中，利用for循环连续获取15次。 输出的结果如下：在上述代码中使用了请求伪装、代理IP和请求延迟。 可以看到效果很好，15次请求都没有被拒绝。以上这些手段只是增加了不被服务器拒绝的概率， 并不代表一定会成功。但相比于不加任何处理的请求，成功几率高很多。

在上篇博客中编写了获取瓦片小程序。这里在此基础上进行扩展，实现批量下载某区域瓦片功能。