Python抓取动态网页数据基础知识（附：爬取NBA球员例子）

        抓取动态网页数据是指从使用 JavaScript 或其他前端技术生成内容的网页中提取数据。相比于静态网页，动态网页的内容是通过 JavaScript 在客户端动态生成的，因此传统的静态网页抓取方法可能无法获取到动态生成的数据。

        动态网页是指使用 JavaScript 或其他前端技术在客户端生成内容的网页。这些技术可以通过 AJAX 请求从服务器获取数据，并使用 JavaScript 动态更新网页内容。

        在抓取动态网页数据之前，需要仔细分析网页的结构和行为。了解网页中使用的 JavaScript、AJAX 请求和数据渲染方式，以及数据所在的位置。

        现代浏览器提供了开发者工具，可以帮助我们分析网页的结构和行为。通过查看网络请求、元素检查器和控制台等功能，可以获取有关网页加载和数据请求的详细信息。

        了解网页中的数据请求方式（如 AJAX 请求），可以使用编程语言中的相应库来模拟这些请求，并获取返回的数据。通常，可以通过分析网络请求的 URL、请求方法、请求头和请求体等信息来模拟请求。

        有些动态网页使用 JavaScript 在客户端动态渲染内容。在这种情况下，传统的静态网页抓取方法可能无法获取到完整的数据。可以使用无头浏览器（Headless Browser）来模拟浏览器行为，执行 JavaScript 并获取完整的渲染后的页面内容。

        一旦获取到动态网页的内容，可以使用相应的数据提取和解析技术来从中提取所需的数据。可以使用正则表达式、XPath、CSS 选择器等方法来定位和提取数据。

 所爬取网页的网址：

NBA中国官方网站 | 球员

        因为传统的静态网页抓取方法可能无法获取到动态生成的数据，所以基础URL就不顶事了，经过分析的动态内容URL才是我们要的结果。

        点击进入上面网页，按F12或右键检查进入以下界面并刷新。

绿色横线的地方即是我们要寻找的json文件，绿色方框是我们所需要的URL。

使用Python中的requests库或类似的工具，发送HTTP请求来获取API的数据。你需要提供API的URL，可能还需要一些参数，例如身份验证令牌或查询参数。

如图所示，每台电脑不太一样。

一旦你收到API的响应，它通常会以JSON格式返回数据。使用JSON解析库（如Python的json模块）将JSON数据解析为Python对象，以便进一步处理和提取数据。

根据API返回的数据结构，提取需要的球员信息。这可能涉及到遍历嵌套的JSON对象或数组，并使用合适的键或索引来访问所需的数据。

首先，我们运行上面的代码得到以下内容：

或者双击：

会得到很长一串代码，全部复制，接着将它复制到菜鸟的json格式化工具，将其解析

JSON 在线解析 | 菜鸟工具 (runoob.com)

就可以得到：

这时，我们将不需要的数据折叠起来，就可以发现我们所需要的数据在payload和players里，这也是我们构建循环所需要的键。

接着我们找球员的名字，它在playerProfile里的displayName中。

结合上面我们可以得到循环

球员、位置等信息的寻找同理，则可以得到：

p用于存储每个球员的相关信息。在每次循环迭代中，通过从result_json中提取相应的字段，将球员的姓名、球队、位置、身高、体重、经验和国籍等信息存储在字典p中。接下来，p字典被添加到列表ps中，以便在循环结束后，可以将所有球员的信息存储在列表中。最终，列表ps将包含所有球员的信息，可以根据需要进一步处理和使用这些数据。

首先，使用MongoClient对象连接到本地MongoDB数据库，并指定主机名和端口号。接着，创建一个名为db_nba的数据库，并将其赋值给datebase变量。然后，使用datebase['nba_players']创建了一个名为nba_players的集合（collection），并将其赋值给collections变量。

接下来，使用insert_many()方法将之前爬取到的球员信息列表ps插入到nba_players集合中。

然后，使用find({})方法查询nba_players集合中的所有文档，并将查询结果赋值给query变量。接着，使用for循环遍历query，对于每个文档（即每个球员信息），使用print(doc)打印输出。

查看数据库：

可以看见已经成功存入。

希望可以帮到大家！