天猫商城商品数据、评论数据爬取

提示：以下是本篇文章正文内容，下面案例可供参考

爬取天猫商城商品数据，观察页面没有动态加载，但是页面会是不是出现登录界面，所以选择selenium登录的方式爬取商品数据，整个爬虫的过程中需要mitmdump拦截伪装，详情可看我主页文章淘宝 https://blog.csdn.net/weixin_47163937/article/details/114998786

我们看一下第一页的url一共有5个参数，其中肯定有无用参数，根据以往的爬虫经验可以确定的是q表示的是商品关键字

再看第二页的url，多了几个参数，这几个参数又没用呢？反复试试就好

最后剩下的有用参数就只有两个，一个是表示关键字的q还有一个s，从下面的规律来看，s就是表示商品个数，从第几个商品个数开始显示，规律就是每下页s+60 第一页为0 即：s=(page-1)60，q表示关键字可以直接换成中文*

最终的url模板

如果看过我之前写的淘宝的爬虫登录我想这就不用说了，可以看下面的连接文章

https://blog.csdn.net/weixin_47163937/article/details/114998786

使用扫码登录手机淘宝确认的方式实现登录，其中整个爬虫的过程中需要mitmdump拦截伪装，CMD进入文件夹 调用mitmdump -s HttpProxy.py -p 9000 上面链接的文章已经详细说明

通过selenium访问页面出现登录页面强制休眠40秒，手机扫码登录

扫码登录进入页面之后，我们来打印一下一共有多少页数，这样可以了解我们要获取多少页 通过xpath定位获取文本，再利用正则表达式提取出页数

根据页数我们可以制作循环，利用input交互式翻页

进入商品页面，右键检查元素，可以看到，每一个商品数据都在div标签下 根据这些，可以利用Xpath定位来获取数据

代码如下（示例）：

当你完成扫码登录时有可能出现滑块，需要直接手动滑走，我试过用selenium滑动 别检测了 不可以，我把滑块代码放下面 有兴趣的自己研究

效果

我们通过chrome的抓包工具可以 利用搜索功能找到评论数据包

经过筛选最终剩余有用的参数

请求头应包含referer、cookie、user-agent

我们利用url并且添加请求头信息返回的数据中有干扰数据，其中开头的jsonp128就是

我们将其返回数据字符串剔除掉无用数据，再将其转换为json数据

我们将数据放到json.cn中观察，可以看到所以的评论数据数据在rateList中 代码如下（示例）：

效果 完整代码在公众号”阿虚学Python“回复”天猫“获取 谢谢大家的观看