【爬虫实战】Python 自制天气预报程序！爬取全国天气网

2024-07-17 00:53| 来源: 网络整理| 查看: 265

学会了爬虫，让我们自制一个天气预报的爬虫吧！

需求分析

1、用 requests 爬取全国天气网的网页源代码； 2、用 pyquery 解析网页源代码，取得天气情况信息的节点； 3、用 xlwt 将信息保存到本地 Excel 文件。在这里插入图片描述

实现过程第一步：导入库 import requests from pyquery import PyQuery as pq import xlwt 第二步：获取网页源代码； html = requests.get('https://tianqi.so.com/weather/').text 第三步：解析网页，查找到包含天气信息的节点； html = pq(html) datas = html.find('ul.weather-columns li div').items()

在这里插入图片描述但我们发现，每个 li 节点中的第 1 个 div 节点是没有内容的，第 3 个 div 节点显示天气图标，而我们并不需要这个；

因此，我们只需要获取第 2、4、5、6、7 个 div 节点的信息。

这些节点中分别储存着日期、天气、温度、空气质量、风向及风速。

datas = [r.text() for r in datas if r.text() != '']

Python 3.8 及以上的小朋友可以这样写：

datas = [t for r in datas if (t := r.text()) != '']

Python 3.8 新增的语法 := 可在表达式内部为变量赋值。详情见 Python3.8的新特性。

第四步：储存在本地 Excel 文件 # 将表头和内容合并 table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas # 新建工作簿 wb = xlwt.Workbook(encoding='utf-8') # 新建工作表 ws = wb.add_sheet('广州 15日天气', cell_overwrite_ok=True) # 填入内容 for i, r in enumerate(table): ws.write(i // 5, i % 5, r) # 保存工作表 wb.save('广州 15日天气.xls') 成果展示

在这里插入图片描述

完整代码 import requests from pyquery import PyQuery as pq import xlwt # 获取网页源代码 html = requests.get('https://tianqi.so.com/weather/').text # 解析网页 html = pq(html) datas = html.find('ul.weather-columns li div').items() # 去除空白信息 datas = [r.text() for r in datas if r.text() != ''] # 将表头和内容合并 table = ['日期', '天气', '温度', '空气', '风速及风向'] + datas # 新建工作簿 wb = xlwt.Workbook(encoding='utf-8') # 新建工作表 ws = wb.add_sheet('广州 15日天气',cell_overwrite_ok=True) # 填入内容 for i, r in enumerate(table): ws.write(i//5,i%5,r) # 保存工作表 wb.save('广州 15日天气.xls') — End —

感谢阅读！点个赞，支持一下作者吧！

本文收录于专栏 Python 爬虫。关注作者，互助交流，学习更多 Python 知识！ https://blog.csdn.net/weixin_48448842