什么是python爬虫，http代理ip起到的作用是什么？

爬虫又称网络蜘蛛、网络机器人，爬虫程序能模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频、音频） 等爬取到本地，进而提取自己需要的数据，并存放起来使用，每一个程序都有自己的规则，网络爬虫也不例外，它会根据人们施加的规则去采集信息，这些规则为网络爬虫算法，根据使用者的目的，爬虫可以实现不同的功能，但所有爬虫的本质，都是方便人们在海量的互联网信息中找到并下载到自己要的那一类，提升信息获取效率。

单一 IP 访问频率过高或访问次数过多就可能会被目标网站限制访问或直接拉小黑屋，需要切换代理 IP 才能继续进行数据采集，可以使用隧道代理，能自动切换代理 IP，更为稳定便捷，以下是对部分代理供应商的 HTTP 隧道代理测试：

九家代理供应商的隧道代理产品：

以下测试网站除了少部分验证 header 中某些参数以外，没有其他反爬，具体表现是同一个 IP 频繁请求会出现验证码、403、跳转登录、返回 JS 二次设置 Cookie 等情况，测试中已排除其他反爬，保证了测试结果只与 IP 的质量有关：

数据量：

主要指标解释：

由上表可知（排名分先后，从左到右）：