Python:使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据(1) | 您所在的位置:网站首页 › 抓取微信公众号直播视频源 › Python:使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据(1) |
mitmweb 将看到浏览器打开了一个 http://127.0.0.1:8081/#/flows 网页,这个就是 MitmProxy 的 web 控制台 在手机端浏览器输入 mitm.im 获取 PC 证书 和手机端的证书,都安装一下 注意:android 手机在安装证书时需要在[从存储设备安装]界面安装 阅读数、再看、点赞抓取 当安装好证书和设置好手机端 IP 代理后,随便点击一篇微信公众号文章(这里使用本公众) 从图上可以看到,阅读、再看、点赞的 url 为 https://mp .weixin. qq. com/mp/getappmsgext(提示:如果没有这个链接,可以右上角刷新文章),再看下它的 request 请求需要哪些东西 只需要一个文章 url、user-agent、cookie 和 body 这四个基本的数据,别看下面 body 里面有二三十个数据其实都是吓唬人的,只需要其中7个,分别是 __biz, mid, idx,sn 这四个参数是获取公众号文章内容的基石,可以在文章 url 处获得。其他三个参数的数据是固定的分别是 is_only_read = 1,is_temp_url = 0,appmsg_type = 9。getappmsgext 请求中的 appmsg_token 是一个有时效性的参数。 分析完链接后就可以写代码了 import html import requests import utils from urllib.parse import urlsplit class Articles(object): “”“文章信息”“” def init(self, appmsg_token, cookie): 具有时效性self.appmsg_token = appmsg_token self.headers = { “User-Agent”: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0Chrome/57.0.2987.132 MQQBrowser/6.2 Mobile”, “Cookie”: cookie } self.data = { “is_only_read”: “1”, “is_temp_url”: “0”, “appmsg_type”: “9”, } def read_like_nums(self, article_url): “”“获取数据”“” appmsgstat = self.get_appmsgext(article_url)[“appmsgstat”] return appmsgstat[“read_num”], appmsgstat[“old_like_num”], appmsgstat[“like_num”] def get_params(self, article_url): “”" 获取到文章url上的请求参数 :param article_url: 文章 url :return: “”" url转义处理article_url = html.unescape(article_url) “”“获取文章链接的参数”“” url_params = utils.str_to_dict(urlsplit(article_url).query, “&”, “=”) return url_params def get_appmsgext(self, article_url): “”" 请求阅读数 :param article_url: 文章 url :return: “”" url_params = self.get_params(article_url) appmsgext_url = “https://mp. weixin.qq.com/mp/getappmsgext?appmsg_token={}&x5=0”.format(self.appmsg_token) self.data.update(url_params) appmsgext_json = requests.post( appmsgext_url, headers=self.headers, data=self.data).json() if “appmsgstat” not in appmsgext_json.keys(): raise Exception(appmsgext_json) return appmsgext_json if name == ‘main’: info = Articles(‘1068_XQoMoGGBYG8Tf8k23jfdBr2H_LNekAAlDDUe2aG13TN2fer8xOSMyrLV6s-yWESt8qg5I2fJr1r9n5Y5’, ‘rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWl3Xy1saXVWYllIVjAzdlM1VkNDNHgxeWpHOG9pckdkREMwTFEwYmNWMl9FZWtRU3pRRnhDS0pyV1BaZUVMWXN1ZWN0WnZ6aHFXdVBnbVhTY21BYnBSUXNCQUFBMLLAjfgFOA1AAQ==’) a, b,c = info.read_like_nums(‘http://mp. weixin.qq.com/s?__biz=MzU1NDk2MzQyNg==&mid=2247486254&idx=1&sn=c3a47f4bf72b1ca85c99190597e0c190&chksm=fbdad3a3ccad5ab55f6ef1f4d5b8f97887b4a344c67f9186d5802a209693de582aac6429a91c&scene=27#wechat_redirect’) print(a, b, c) 示例结果 阅读数 点赞数 再看数1561 23 18 动态获取 cookie 和 appmsg_token appmsg_token 是一个具有时效性的参数,和 cookie 一样是需要改变的,当这两个参数过期时就需要从抓包工具(MitmProxy 中)ctrl+C,ctrl+V到代码中,很是麻烦。 MitmProxy 可以使用命令行接口 mitmdumvp 运行 Python 代码监听抓取的链接,如果抓到了 https://mp. weixin.qq.com/mp/getappmsgext 就保存在本地文件并退出抓包 mitmdump 命令 -s 运行的python脚本, -w 将截取的内容保持到文件mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgext 监听脚本 import urllib import sys from mitmproxy import http command: mitmdump -s write_cookie.py -w outfile mp.weixin.qq.com/mp/getappmsgextclass WriterCookie: “”" mitmproxy的监听脚本,写入cookie和url到文件 “”" def init(self, outfile: str) -> None: self.f = open(outfile, “w”) def response(self, flow: http.HTTPFlow) -> None: “”" 完整的response响应 :param flow: flow实例, “”" 获取urlurl = urllib.parse.unquote(flow.request.url) 将url和cookie写入文件if “mp. weixin.qq.com/mp/getappmsgext” in url: self.f.write(url + ‘\n’) self.f.write(str(flow.request.cookies)) self.f.close() 退出exit() 第四个命令中的参数addons = [WriterCookie(sys.argv[4])] 监听脚本写好之后,再来写启动命令和解析 url,cookie 文件的模块 import re import os class ReadCookie(object): “”" 启动write_cookie.py 和 解析cookie文件, “”" def init(self, outfile): self.outfile = outfile def parse_cookie(self): “”" 解析cookie :return: appmsg_token, biz, cookie_str· “”" f = open(self.outfile) lines = f.readlines() appmsg_token_string = re.findall(“appmsg_token.+?&”, lines[0]) biz_string = re.findall(‘__biz.+?&’, lines[0]) appmsg_token = appmsg_token_string[0].split(“=”)[1][:-1] biz = biz_string[0].split(“__biz=”)[1][:-1] cookie_str = ‘; ‘.join(lines[1][15:-2].split(’], [’)).replace(‘’‘,’‘).replace(’, ', ‘=’) return appmsg_token, biz, cookie_str def write_cookie(self): “”" 启动 write_cookie。py :return: “”" #当前文件路径 path = os.path.split(os.path.realpath(file))[0] mitmdump -s 执行脚本 -w 保存到文件 本命令command = “mitmdump -s {}/write_cookie.py -w {} mp.weixin.qq.com/mp/getappmsgext”.format( path, self.outfile) os.system(command) if name == ‘main’: rc = ReadCookie(‘cookie.txt’) rc.write_cookie() appmsg_token, biz, cookie_str = rc.parse_cookie() print(“appmsg_token:” + appmsg_token , “\nbiz:” + biz, “\ncookie:”+cookie_str) 示例结果 cookie.txt 文件内容解析后 appmsg_token:1068_av3JWyDn2XCS2fwFj3ICCnwArRb2kU4Y5Y5m9Z9NkWoCOszl3a-YHFfBkAguUlYQJi2dWo83AQT4FsNK biz:MzU1NDk2MzQyNg== cookie:rewardsn=; wxtokenkey=777; wxuin=1681274216; devicetype=android-29; version=27001037; lang=zh_CN; pass_ticket=H9Osk2CMhrlH34mQ3w2PLv/RAVoiDxweAdyGh/Woa1qwGy2jGATJ6hhg7syTQ9nk; wap_sid2=COjq2KEGEnBPTHRVOHlYV2U4dnRqaWZqRXBqaWktTHpUSEJnTTdhU0hVZTEtZXpZZEY4a3lNY29zc0VZeEFvLS01YmJRRnQ5eFRmR2dOY29nUWdKSTRVWG13WE1obGs1blhQcVh0V18tRnBSRnVlc1VhOHNCQUFBMPeIjfgFOA1AAQ== ReadCookie 模块可以自动获取到 appmsg_token 和 cookie,将它们当作参数一样传递到 Articles 模块中,就能解放双手再也不要复制黏贴 appmsg_token 和 cookie 了,只要在 appmsg_token 过期时刷新一下公众号文章就可以了,省心又省时 批量抓取 在公众号历史消息界面将屏幕向上滑动,每次都可以加载 10 条历史消息,盲猜这个翻页就是批量抓取的请求链接,用 MitmProxy 的 WEBUI 界面在 Response 面板查找一下,找到一个是 https://mp. weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzU1NDk2MzQyNg==&f=json&offset=10&count=10… 的链接,它的响应返回值中有多个文章标题,再看这个链接上有 offset=10&count=10 参数,一看就是翻页偏移量和每页显示的条数,就它了 在链接中比较重要的参数有:__biz、offset、pass_ticket、appmsg_token ,这些数据都可以在 cookie 和 appmsg_token 中得到。 utils.py 工具模块,将字符串变成字典def str_to_dict(s, join_symbol=“\n”, split_symbol=“:”): s_list = s.split(join_symbol) data = dict() for item in s_list: item = item.strip() if item: k, v = item.split(split_symbol, 1) data[k] = v.strip() return data 自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。 深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。 既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化! 由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新 如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python) 中…(img-oZgYMHcx-1713695322066)] [外链图片转存中…(img-PeA03CL5-1713695322066)] [外链图片转存中…(img-ji1r3oBq-1713695322067)] 既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化! 由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新 如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python) |
CopyRight 2018-2019 实验室设备网 版权所有 |