获取微信公众号所有历史文章链接地址 您所在的位置:网站首页 微信公众号收藏的文章在哪里找 获取微信公众号所有历史文章链接地址

获取微信公众号所有历史文章链接地址

2022-10-26 05:35| 来源: 网络整理| 查看: 265

在线工具:微信文章转PDF

提前声明:本文不介绍具体的代码部分,只提供思路。具体代码部分较为复杂,文章末尾会列出参考网址。

前面有写过一篇文章:《将微信公众号所有历史文章保存为PDF电子书》。方法的第一步是通过Fiddler 抓包的方式,获取微信公众号可以在浏览器中打开的历史文章链接。

可惜的是,等我再次想要运行程序时,上面的第一步已经失效了。可能是微信那边为了反爬虫又改了规则吧。

所以在我的不断寻找、实践和学习下,又找到了一个方法,这个方法应该是目前的最优解了。

此方法的原理

也是基于代理服务器,不过这次不会获得一个链接在浏览器中打开,而是直接通过代理服务器获得微信和服务器之间的传输数据,从传输数据中一层一层地提取出目标数据。

代理服务器原理

引用网上的一句话:

代理服务器是个中间人,站在了客户端和服务端中间,双方通信的每个比特,都会滴水不漏地经过它。它控制了完整的请求头、请求体、响应头、响应体,可以在客户端与服务端都无感知的情况下介入处理所有的流程。只要代理服务器可以实现灵活配置,前端工程师们的奇葩需求就有出头之日了。

工具

代理服务器的轮子:AnyProxy,基于语言Node.js 实现的。

AnyProxy 有开放了http 通信过程各个阶段的API 接口,可以让开发者实时干预通信过程,然后完成各类自定义的需求。

所需了解的知识 JavaScript Node.js HTTP 协议 AnyProxy 文档

本次实现过程,完全脱离了上篇文章用到的Python 代码部分,而是由目前较为流行的JavaScript 编程语言作为基础来实现。

注:Node.js 是在后端(脱离浏览器环境)运行的JavaScript 代码。

实现逻辑与步骤 电脑终端运行AnyProxy,使手机与电脑处于同一网络环境,然后在手机WiFi 设置中手动配置HTTP 代理地址与端口。 设置好之后,手机上的所有请求与响应均会通过此中间人AnyProxy,且其请求URL 都会显示在终端。 明确目标:抓取微信公众号历史页的文章链接地址。 设置AnyProxy 规则,判断当请求页面是微信历史页时,解析其从服务器端返回的数据,获得文章链接。 作为中间人的AnyProxy 不仅可以获得Response 消息,且可以修改其内容,所以可以添加一串自定义js 代码在Response 中,功能是使网页不断下拉至最低端,这样在手机端的页面便可以自动下拉页面。然后便可以不断的向服务器请求文章列表。(微信历史页是Ajax 请求,当网页浏览至至最低端时,会触发请求更多的数据,直至此公众号最早的一篇文章。) 第5步的每次请求都会再次调用第4步的解析规则,解析之后将url 保存至文本文件中即可。(当然也可以细分title、date和url 等字段,保存至数据库) 得到了历史文章链接,便可以通过爬虫批量拿到所有文章的内容等数据了。具体可参考我上篇文章《将微信公众号所有历史文章保存为PDF电子书》。 功能演示 功能演示

手机打开历史消息页后,即触发了连接网页的事件,这时便会自动下拉至最早的文章,终端会提示抓取到的文章标题,然后桌面也会新增一个文本文件用来保存对应的文章链接。

待实现功能

用此AnyProxy 直接获取每一篇文章的内容,包括点赞量和阅读量,而不需经过其他程序。

参考链接 主要参考知乎上一大神:微信公众号文章批量采集系统的构建。https://zhuanlan.zhihu.com/p/24302048 AnyProxy 官方GitHub:https://github.com/alibaba/anyproxy Node入门:http://www.nodebeginner.org/index-zh-cn.html 推荐书籍:《JavaScript 高级程序设计》


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有