本文以北京天气为例讲解数据爬取的整个流程，不涉及网络爬虫的原理，直接讲爬取代码怎么写！

1、首先找到你要爬取的网站url：'http://www.tianqihoubao.com/lishi/beijing.html' ，进入该网页，可以看到网页是这样的。

2、接下来进行一波爬虫的固定操作，首先创建存储数据的excel文件，pandas方法也可以创建，这里用的xlsxwriter是为了方便之后一行一行向excel中存储数据；然后找到网页的User-Agent作为网页的heahders，使用requests.get方法请求网页；最后使用Beautifulsoup方法请求html网页源码中的内容。代码如下：

3、接下来就是查看网站源代码进行数据的爬取了。进入网页，右键选择 “查看网页源代码” ，就能看到网页的源代码了：

4、在网页源代码中，可以看到北京历史天气数据存储在标签内，而每一年的数据又在标签内，因此使用bsObj.find_all()方法找到所有该标签下的内容，再遍历所有的年。

5、下面遍历每一年内的全部季度，观察上图的源码可以知道，一个季度的数据在一个标签内，每个月的数据在一个标签下的a标签内，这里首先要做的就是找到一年数据中的全部标签，由于网页源码不太规范，需要限制一下爬取年份，不然就会不小心爬取到网站底部一些别的数据。针对每一年，创建一个工作表，并写入表头第一行的内容（日期，天气状况，气温，风力风向）。