python爬虫如何设置代理ip 您所在的位置:网站首页 youtube怎么挂代理 python爬虫如何设置代理ip

python爬虫如何设置代理ip

2022-11-06 14:19| 来源: 网络整理| 查看: 265

python爬虫设置代理ip的方法:首先写入获取到的ip地址到proxy;然后用百度检测ip代理是否成功,并请求网页传的参数;最后发送get请求,并获取返回页面保存到本地。

程序员必备接口测试调试工具:立即使用 Apipost = Postman + Swagger + Mock + Jmeter Api设计、调试、文档、自动化测试工具 后端、前端、测试,同时在线协作,内容实时同步

【相关学习推荐:python教程】

python爬虫设置代理ip的方法:

设置ip代理是爬虫必不可少的技巧;

查看本机ip地址;打开百度,输入“ip地址”,可以看到本机的IP地址;

f5fcdee123938d171bfbc6c0f98c3d0.png

本文使用的是goubanjia.com里面的免费ip;

91b174412f4ef3695c7cb5e6724a4aa.png

使用时注意要注意传输协议是http还是https,代码如下;

# 用到的库 import requests # 写入获取到的ip地址到proxy proxy = { 'https':'221.178.232.130:8080' } # 用百度检测ip代理是否成功 url = 'https://www.baidu.com/s?' # 请求网页传的参数 params={ 'wd':'ip地址' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } # 发送get请求 response = requests.get(url=url,headers=headers,params=params,proxies=proxy) # 获取返回页面保存到本地,便于查看 with open('ip.html','w',encoding='utf-8') as f: f.write(response.text)登录后复制

打开存入的“ip.html”查看内容如下;

91f788d9d8a376f6d3ccd24a1c01f56.png

以上就是python爬虫如何设置代理ip的详细内容,更多请关注php中文网其它相关文章!

微信分享

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系[email protected]核实处理。

相关标签:python 爬虫 代理ip

程序员必备接口测试调试工具:点击使用

Apipost = Postman + Swagger + Mock + Jmeter

Api设计、调试、文档、自动化测试工具

低代码Web应用/小程序开发,无需配置开发环境,基于浏览器的云 IDE:立即使用

支持多种扩展,支持第三方API接入。

自动生成前后端接口方案,高性能前端,更快更强。

上一篇:python如何利用公式计算π下一篇:python tqmd模块实现进度条显示法


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有