【Python】爬虫:微博找人页面爬虫(一) | 您所在的位置:网站首页 › 怎么找一个人的微博小号 › 【Python】爬虫:微博找人页面爬虫(一) |
【Python】爬虫:微博找人页面爬虫(一)
最近想通过爬去微博上大V信息来做爬虫练手,于是,在微博-找人页面,看到有许多分类,并且里面都是些大V,页面:https://d.weibo.com/1087030002_417# 将爬取的页面分为两类,列表页和文章页,列表页中包含每个文章页的链接,以及列表页的下一页链接。文章页就是每个博主的页面了。 列表页: 需要解决问题 1,模拟登陆,找人页面需要登录微博账号后才可以访问。 2,两个url队列如何维护? 3,文章页面下载,解析,存储? 未完待续,后面的博客会有解决上述问题的方法,欢迎大家评论讨论!!! |
CopyRight 2018-2019 实验室设备网 版权所有 |