如何用python爬虫爬取链家二手房信息? 您所在的位置:网站首页 python爬取链家二手房信息数据清洗 如何用python爬虫爬取链家二手房信息?

如何用python爬虫爬取链家二手房信息?

2024-07-15 21:58| 来源: 网络整理| 查看: 265

相信有很多朋友在学习python后,一定都有过使用这门语言编写爬虫的想法。刚刚学习了python的小菜(因为很菜所以叫小菜)我也是如此。这里小菜和小菜的伙伴就以python新手的身份分享一下我们使用python爬虫爬取链家网上的房价信息的过程。如有大佬路过,求大佬指出其中需要改进的地方,小菜我感激不尽。

1.数据需求

将小区名称、厅室、面积、毛坯还是精装、楼层、建筑年代、板楼还是塔楼、总价和每平方米单价等信息爬取放入字典中。

2.爬虫流程

(1)查看想要的数据在网页源码中是否存在(确认是否为静态部分)

(2)找网页url的规律,规律如下:

第n页:https://sh.lianjia.com/ershoufang/pgn/

(3)写xpath表达式

右键查看页面元素,发现节点


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有