Python爬虫实战之四：requests

2024-06-27 20:50| 来源: 网络整理| 查看: 265

本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by 嵩天北京理工大学）学习笔记。代码段均可在ide中运行by now(2021-12-02).

1.爬取目标

爬取中文版国家地理杂志某张图片并保存在本地电脑上。

2.爬取链接

https://www.natgeo.com.cn/pic/program_default.768.jpg

3.技术路线

requests+os

python的os模块主要用于访问操作系统功能的模块，主要应用场景是目录的增删改查。

本例需要将图片下载到自己的电脑中，需要在下载前需创建文件目录用以接受文件。

4.全代码及输出模块 # 图片爬取全代码 import requests import os url = 'https://www.natgeo.com.cn/pic/program_default.768.jpg' root = 'D://pic//' path = root + url.split('/')[-1] print(path) try: if not os.path.exists(root): # 判断根目录是否存在，不存在则创建 os.mkdir(root) # print(root) if not os.path.exists(path): # 判断path是否存在，不存在则用get获取url内容（图片） r = requests.get(url) with open(path,'wb') as f: f.write(r.content) f.close() print('文件保存成功') else: print('文件已存在') except: print('爬取失败')

运行结果

5.总结

本案例难度不大，代码框架在图片保存项目中有普适性。

【本文地址】

公司简介

联系我们