如何用python爬虫爬取链家二手房信息? | 您所在的位置:网站首页 › python爬取链家二手房信息数据清洗 › 如何用python爬虫爬取链家二手房信息? |
相信有很多朋友在学习python后,一定都有过使用这门语言编写爬虫的想法。刚刚学习了python的小菜(因为很菜所以叫小菜)我也是如此。这里小菜和小菜的伙伴就以python新手的身份分享一下我们使用python爬虫爬取链家网上的房价信息的过程。如有大佬路过,求大佬指出其中需要改进的地方,小菜我感激不尽。 1.数据需求 将小区名称、厅室、面积、毛坯还是精装、楼层、建筑年代、板楼还是塔楼、总价和每平方米单价等信息爬取放入字典中。 2.爬虫流程 (1)查看想要的数据在网页源码中是否存在(确认是否为静态部分) (2)找网页url的规律,规律如下: 第n页:https://sh.lianjia.com/ershoufang/pgn/(3)写xpath表达式 右键查看页面元素,发现节点 |
CopyRight 2018-2019 实验室设备网 版权所有 |