【稳定可用

本文是微博超级爬虫系列 2022 最新最全指南。

微博超级爬虫系列的仓库地址在 https://github.com/Python3Spiders/WeiboSuperSpider

之前的连载全部在公众号，但是由于爬虫时常修改，公众号发文只能修改一次，故开此篇，保持更新！

相关开源代码仅为相关数据研究用，不做任何加速，没有 ip 代理，请勿用作其他用途，由此产生的法律风险本人概不承担。

相关未开源代码均为 pyd 或者 pyc 文件（不了解 pyd 或者 pyc 文件的读者 点击这里，pyd 只兼容 win 系统，pyc 则可以兼容 win/mac/linux ，也没有任何加速或 ip 代理。

运行本项目前，请确保已经关闭了 vpn 或者加速器，或者代理模式设置成 PAC 模式。

运行本项目的任何 py 文件，由于相关语法限制，python 版本大于等于 3.6 即可，32 bit or 64 bit 均可。

运行本项目的任何 pyd or pyc 文件，由于特有文件限制，请确保 python 环境是 python3.6.6 64 bit。

只推荐 Pycharm IDE 运行本项目。

还有一点，需要注意的是，微博的唯一标识 id 有两种形式。纯数字和数字+字母形式，这两者可以相互转化。转化的代码在文末，点我直达，遇到相关问题时查阅即可。

1、微博话题爬虫新增用户认证类型字段：verify_typ，取值范围为：没有认证、黄 V 认证、红 V 认证、蓝 V 认证。

2、修复微博话题爬虫 IndexError 等错误，提升稳定性。

1、微博用户爬虫 解决无法抓取自己微博和抓不全的 bug。

2、微博用户爬虫 新增图片相册下载功能。

1、新增开源 评论微博爬虫 可实现某微博账号评论、转发和点赞过的微博信息。

只需要抓取一个用户的所有微博或文章，一个关键词或者话题的特定时间段的微博，一个位置签到的最新微博，特定微博的转发，评论，点赞等功能之一的读者，可以只参考此部分。

见名知意，抓取一个用户的所有微博，针对 weibo.cn 站点，代码地址在 WeiboUserScrapy.py

运行代码需要安装的库罗列如下：

pip install requests

pip install lxml

pip install 成功了还报错 module not found？点击这里

csv 结果文件，保存在代码目录下的 user 文件夹中，保存字段格式如下：

在微博上发布的内容有的短文本+图片（也就是微博），还有文章等形式，微博文章爬虫爬取用户的所有文章。有文章标题，id，内容，发布时间，阅读数，评论数，点赞数，图片链接等字段或信息。

针对 weibo.com 站点，代码地址在 WeiboComPostSpider.py

cookie 获取及更多信息可以参考：爬取微博用户所有文章的爬虫

微博用户信息爬虫指的是，根据微博用户 id，抓取用户的阳光信用、性别、地区、学校、公司等信息。

针对 weibo.com 站点，代码全部开源在 WeiboSuperSpider 的 github 仓库地址，功能独立版文件夹下，取名 WeiboUserInfoSpider

拿到代码后需要填一下 headers 里面的 cookie，随便打开 weibo.com 站点里一个人的主页，比如

也可以是

这种微博用户自定义形式，然后 F12 开始找 info 或者 detail 这两个 path 之一，复制它们的 cookie 即可。

有关该爬虫更多信息可以参考：超级方便的微博用户信息爬虫

微博用户信息爬虫是根据微博用户 Uid 来抓取公开的用户微博信息，但是很多时候，我们可能只知道这个用户的微博名字，并不知道 Uid，用户搜索爬虫就是完成从微博用户名到 Uid 的转换。

针对 weibo.com 站点，代码地址在 SearchUser.py

cookie 获取及更多信息可以参考：微博搜索用户爬虫

首先必须搞清楚微博的关键词、话题、超话这三者的区别。

首先 #buyixiao# 这个就是话题， 而 buyixiao 是关键词；使用关键词可以同时搜到同名话题，话题却不能搜到同名关键词。

再者，在搜索时，关键词可能会被拆分，例如 北京暴雨 可能会搜索到包含 北京 或 暴雨 的微博，不仅可能没连在一起，还有可能只包含其中一个；而话题在搜索时不会被拆分~

话题和关键词区别明了，下面看 关键词话题 和 超话的区别 。

本爬虫只只能抓取关键词或话题（2022/03/08 更新，也支持抓取超话，只需要在 keyword 后面加个 超话 就能抓取超话微博了，超话后续有精力再开发）。抓取保存的结果 csv 文件字段格式如下：

针对 weibo.com 站点，pyd 或者 pyc 获取及相关配置过程在 新版话题关键词爬虫发布 。

链接里相关配置流程可能更改，但是公众号文章无法多次修改，以最后获取的百度网盘链接里文件为准。

在这里补充一点，如果需要设置多个关键词同时抓取，按照以下格式设置 keyword：

“keyword”: “a b c”,

实践证明，不需要空格也行，效果相同，爬的结果是多个关键词且的关系。

如果需要设置抓取 日本地震 或者 美国地震，可以将关键词设置为以下两种之一，结果是一样的：

“keyword”: “(日本 or 美国) and 地震”

或者

“keyword”: “日本地震 or 美国地震”

也可以参考视频教程：

针对指定微博的转发、评论和点赞信息抓取。

评论数据尤为重要，先来讲讲评论抓取。

评论数据的抓取难度较大，针对一条 100w+ 评论的抓取，通常分为三个量级难度的抓取：0.1w、1w、10w。0.1w 指只能爬到几千条，10w 指的是能爬到几十万条。

本爬虫 针对 weibo.com ，能够保存的字段信息如下：

抓取数据量在第二量级，单条100w+ 的评论能抓到 1w-10w，当然，如果评论总量只有 10w，抓不到 10w。pyd 或者 pyc 获取及相关配置过程在 新版评论爬虫发布

链接里相关配置流程可能更改，但是公众号文章无法多次修改，以最后获取的百度网盘链接里文件为准。

如果想要免费抓取最高量级的评论，可以参考 单机单账号抓取了单条微博的 100w+ 评论

抓取指定微博的抓发信息，针对 weibo.com，抓取保存的字段如下：

pyd 或者 pyc 获取及相关配置过程在 新版转发爬虫发布

链接里相关配置流程可能更改，但是公众号文章无法多次修改，以最后获取的百度网盘链接里文件为准。

可以参考视频教程：

看名字以为是手动点赞机器人，其实只是抓取点赞信息信息。

针对 m.weibo.cn，只能抓到最新的几千条点赞信息。

代码地址在：WeiboLikeSpider.py 。

详细信息及配置过程可以参考：新版点赞爬虫 。

针对 weibo.com，微博位置签到爬虫，只能抓取到最新 1000 余条，比较稳定，不多赘述，直接查看：新版位置签到爬虫 。

2022 年 5 月更新，发布的位置签到爬虫 pyd 不稳定或者失效，需要抓取大量签到数据私聊合作。

1、抓取超话微博，同话题关键词系列，比如抓取李健超话，只需要将 keyword 设置为 李健超话 即可，其余配置一样。

2、针对 weibo.com，下载超话相册和抓取活跃粉丝，比较稳定，不多赘述，直接查看：【开源】微博超话相册下载及超话活跃粉丝抓取 。

主要是针对上一步输出结果为微博信息，想要作为下一步或评论或转发输入的批量抓取，比如抓取一个微博话题下的所有评论，抓取一个用户发博的所有评论…以及其他 DIY 功能，FT 导向，本部分仍在活跃更新

不只是话题，关键词也行，要求是输入为话题关键词爬虫的结果文件，输出为很多评论文件，也可合并之。

在上文所述[新版微博评论爬虫]中，只是针对单条微博的，如果是很多很多个微博需要爬评论，难道需要一个个输入 mid 和 uid 吗？考虑到这个问题，我特意写了个脚本，后，需要获取该话题下所有微博的评论，我们可以使用如下的 py 脚本代码自动构建视频中抓取评论所需要的 json 配置文件。

配套视频如下：

构建评论批量抓取配置文件的脚本附在文末，点我直达

可以直接参考视频：

待更新…

给一些 csv 加上学校，地区，性别等字段，总的来说还是需要上文 用户信息爬虫，待更新。

就是说，爬虫结果文件里面的图片链接怎么下载到本地，代码贴在文末，点我直达

站点地址：https://weibo-crawl-visual.buyixiao.xyz/

具体介绍，见诸公众号文章合集：#微博自助抓取网站

可定制、一站式微博分析及可视化平台：WB_VIS

中国-省-市可钻入钻出地图、世界地图、动态排序柱状图、桑基图、旭日图、关系图、树图、矩形树图、弦图等类型图表在线生成工具：https://tools.buyixiao.xyz/ ，可上传数据，在线编辑生成图表下载~

pip install snownlp；然后文末的代码随取随用：点我直达

代码附在文末，点我直达 , 自行百度相关包安装过程，可能比较麻烦

直达文末代码

以前尝试做过一个 GUI 系统，所有功能点击即可，后来微博改版，流程全部失效了，维护成本巨大，所以只关注基本功能。

博主大厂全职，维护这个项目三年多，至少花费了我几百个小时的业余时间，为此熬过不少夜，废过不少食。所有设置了一些付费文章，3~9 块不等，算是对项目持续维护的激励，不是为文件付费，知悉。

可以先查看下方的 常见错误汇总（已从 qq docs 迁移至本文），没有找到答案的可以在本文文末评论。

运行报错 ImportError: bad magic number，切换到 Python 3.6.6 64 bit 即可，Python 可以多版本共存，无需卸载当前 Python，多版本时，请确保你当前 Pycharm 使用的是 3.6.6 64 bit，有关于此的任何疑问，可以查询此文：Python 多版本共存问题

运行报错 requests.exceptions.SSLExcption，关闭 vpn 即可。

如果运行报错类似 json.decoder.JSONDecodeError: Expecting ':' delimiter: line 3 column 19 (char 843)，原因是 json 文件你修改时把冒号逗号引号之类的分隔符搞丢了。

如果复制 cookie 到 json 文件里时有一些双引号造成 loadConfig 错误，那是因为复制 cookie 的时候右键选择 复制 而不是 copy value。

这不是问题，正常，pycharm 默认不会索引显示 pyc 文件。

这是因为 pyexecjs 库需要 jdk，如果你电脑之前没配置过 java 环境的话，google 百度搜索 jdk配置教程配置一个即可。

原始文档

问题陈列如下：

以上这些问题在 原始文档 中都有详细解释。

把 json 配置中的 child_max_page 设置为 0 即可。

以微博 https://weibo.com/1934183965/LqvYeCdBu 为例子，显示有 3w 条，实际上只能抓到几百条，有以下几个原因：

1、这条微博可能开启了评论精选，博主只选出了几百条，不信的话，去 weibo.com 或者手机上手动浏览下，你会发现只能看到几百条，去 weibo.cn 可能一条都看不到。

2、微博数据水分，互联网大厂常规操作，在此不做过多解释。

道理同上。

注意这份代码需要根据 话题爬虫（或者用户爬虫）的结果 CSV 作为前置条件，体现在代码的 data_path 这个变量处，注意修改成你电脑上结果 CSV 文件的真实路径~