教你用Python爬取手机App数据!居然有人说爬不了APP

您所在的位置:网站首页 免费抓包软件苹果手机能用吗 教你用Python爬取手机App数据!居然有人说爬不了APP

教你用Python爬取手机App数据!居然有人说爬不了APP

2024-07-10 18:10:46| 来源: 网络整理| 查看: 265

最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)!

本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据!

2、配置抓包工具 1.安装软件 本文选择的抓包工具:Fiddler

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

2.配置Fiddler 安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!)

配置Connections 打开Fiddler后,点击Tools->Options

 

点击Connections

 

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

 

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler!重启Fiddler!重启Fiddler!不然可能不生效

3、配置手机代理 1.设置代理 准备工作  首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网)

查看ip命令

 

window:ipconfig复制代码

开始配置 目标代理主机信息 ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

 

2.安装证书  在浏览器输入:

http://192.168.31.195:8888 复制代码

 

点击下载证书后,下面就开始安装(看图操作)

 

 

ok,这样手机端就配置完成,下面开始抓取数据!!!

4、抓取数据 1.打开某乎app

 

2.查看数据包列表 打开app之后,Fiddler就已经抓取到数据了

 

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

 

这样我们获取的数据包列表就都是过滤条件内的目标网址

 

3.查找数据包 比如点击热榜

 

对应的https加密数据包如下:

 

数据包中的数据如下:

 

提取出url链接

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

 

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序 # -*- coding: utf-8 -*-

ok这样就可以将数据获取下来! 5、总结 1.配置抓包工具Fiddler(重点)。 2.ios苹果手机配置证书和设置代理(安卓手机也类似)。 3.简单使用Fiddler(过滤数据包、查看数据包等)。 4.本文以某户为实战,实现了python爬取手机app数据(详细教程,推荐收藏)。 ———————————————— 版权声明:本文为CSDN博主「Python是世界上最好的语言」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/weixin_52994140/article/details/118249249

 



【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭