只需十几行代码,轻松爬取公众号文章! |
您所在的位置:网站首页 › 微信公众号抓取文章 › 只需十几行代码,轻松爬取公众号文章! |
有什么好的方法呢?有人推荐连接手机用fiddler抓包,被坑了2个小时 ,此路不通或者说麻烦。 一个比较好的方法是找到微信公众号平台内部的API,比如“python技术”的的文章这里都有,哈哈: 为了获取文章列表,我特意注册了一个微信公众号。 注册好了,咱们直奔主题,说下操作过程。 进入公众号点击,再点击右侧 选择 进入到编辑界面,点,选,输入你要爬的公众号名称。 以python技术为例: 按F12或通过鼠标右键检查,点《Network》后选择《XHR》一般最后一个即是当前页面内容所在,这里看到url和标题分别位于《link》和《title》标签下,如果network没东西刷新试一下 下图最后一个箭头的title标签,可以看到我昨天发表的“用LOL英雄点缀你的博客” 到这里我们已经成功了一半,接下来我们获取用到的《user-agent》《URL》《cooike》《tooken》和《fakeid》,点击Headers cooike帮我们绕过登录过程fakeid是目标公众号的唯一标识符user-agent可以模拟浏览器请求至此信息获取部分完成,下面开始开始代码部分。注意: 下面“完整脚本”中的fakeid、token、type等的值在url中可以看到 也可以直接访问这个url,一个JSON格式的数据: 完整脚本 # -*- coding: utf-8 -*- import requests import time headers = { "cookie": "appmsglist_action_3889613222=card; ua_id=Q1Dfu2THA6T9Qr1HAAAAAN_KYa5xTwNmiuqj1Mkl6PY=; wxuin=18828715020059xid=a5c7612f529374b74deb4178e7ff4ca7", "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36" } url = 'https://mp.weixin.qq.com/cgi-bin/appmsg' fad = 'MjM5ODM3MTUwMA==' #爬不同公众号只需要更改 fakeid def page(num=1): #要请求的文章页数 title = [] link = [] for i in range(num): data = { 'action': 'list_ex', 'begin': i*5, #页数 'count': '5', 'fakeid': fad, 'type': '9', 'query':'' , 'token': '1753262244', 'lang': 'zh_CN', 'f': 'json', 'ajax': '1', } r = requests.get(url,headers = headers,params=data) dic = r.json() for i in dic['app_msg_list']: #遍历dic['app_msg_list']中所有内容 title.append(i['title']) #取 key键 为‘title’的 value值 link.append(i['link']) #去 key键 为‘link’的 value值 return title,link if __name__ == '__main__': (tle,lik) = page(5) for x,y in zip(tle,lik): print(x,y)成功获取5页url和标题 -END- 学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助! 包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、自动化测试带你从零基础系统性的学好Python! 👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击) 👉Python学习大礼包👈Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈) 温馨提示:篇幅有限,已打包文件夹,获取方式在:文末 👉Python实战案例👈光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。 观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉[CSDN大礼包:《python安装工具&全套学习资料》免费分享](安全链接,放心点击) |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |