Python爬虫实战入门五:获取JS动态内容 | 您所在的位置:网站首页 › python中jsonloads › Python爬虫实战入门五:获取JS动态内容 |
之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的。 有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在HTML源码中却发现不了。比如今日头条: 浏览器呈现的网页如下图所示: 查看源码,却是如下图所示: 网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。 遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法: 从网页响应中找到JS脚本返回的JSON数据; 使用Selenium对网页进行模拟访问在此只对第一种方法作介绍,关于Selenium的使用,后面有专门的一篇。 一、从网页响应中找到JS脚本返回的JSON数据即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。 所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。 就以今日头条为例来演示: 1、从找到JS请求的数据接口F12打开网页调试工具 选择“网络”选项卡后,发现有很多响应,我们筛选一下,只看XHR响应。(XHR是Ajax中的概念,表示XMLHTTPrequest) 然后我们发现少了很多链接,随便点开一个看看: 我们选择city,预览中有一串json数据: ![]() 我们再点开看看: ![]() 原来全都是城市的列表,应该是加载地区新闻之用的。 现在大概了解了怎么找JS请求的接口的吧?但是刚刚我们并没有发现想要的新闻,再找找看: 有一个focus,我们点开看看: ![]() 与首页的图片新闻呈现的数据是一样的,那么数据应该就在这里面了。 看看其他的链接: ![]() 这应该是热搜关键词 ![]() 这个就是图片新闻下面的新闻了。 我们打开一个接口链接看看:http://www.toutiao.com/api/pc/focus/ ![]() 返回一串乱码,但从响应中查看的是正常的编码数据: ![]() 有了对应的数据接口,我们就可以仿照之前的方法对数据接口进行请求和获取响应了 2、请求和解析数据接口数据 先上完整代码: # coding:utf-8 import requests import json url = 'http://www.toutiao.com/api/pc/focus/' wbdata = requests.get(url).text data = json.loads(wbdata) news = data['data']['pc_feed_focus'] for n in news: title = n['title'] img_url = n['image_url'] url = n['media_url'] print(url,title,img_url)返回出来的结果如下: ![]() 照例,稍微讲解一下代码: 代码分为四部分, 第一部分:引入相关的库 # coding:utf-8 import requests import json第二部分:对数据接口进行http请求 url = 'http://www.toutiao.com/api/pc/focus/' wbdata = requests.get(url).text第三部分:对HTTP响应的数据JSON化,并索引到新闻数据的位置 data = json.loads(wbdata) news = data['data']['pc_feed_focus']第四部分:对索引出来的JSON数据进行遍历和提取 for n in news: title = n['title'] img_url = n['image_url'] url = n['media_url'] print(url,title,img_url)如此,就完成了从JS网页中爬取数据。 文章版权所有:州的先生博客,转载必须保留出处及原文链接 原文地址:https://zmister.com/archives/88.html 分享到: 80%的人还看了:我就想些个爬虫,怎么要学那么多东西? 「爬虫实战」采集高校历史录取分数线 在 Python 桌面图形程序中实现用户认证系统 纯Python实现中英文全文搜索 Python编写的桌面图形界面程序实现更新检测和下载安装 MrDoc 0.5.3 发布,开源的 Markdown 在线文档系统 如何用Python实现一个全链路的舆情监控系统 利用Python内置方法实现字符串的秘钥加解密 |
今日新闻 |
推荐新闻 |
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 |