手把手教你如何用Python爬取网站文本信息

2023-06-30 08:09| 来源: 网络整理| 查看: 265

提取网页源代码——Requests 工具包

在我们提取网络信息之前，我们必须将网页的源代码进行提取，Requests工具包现在可以说是最好用和最普及的静态网页爬虫工具，它是由大神Kenneth Reitz所搭建的。在Requests的官方介绍里，Requests所遵守的哲学理念是： 1.Beautiful is better than ugly. （美胜过丑）

2.Explicit is better than implicit.（清晰胜过隐匿）

3.Simple is better than complex.（简单胜过复杂）

4.Complex is better than complicated.（复杂胜过繁琐）

5.Readability counts.（可读性很重要）

Requests工具包的使用非常简单，最主要使用的函数为requests.get(url),其中参数url就是我们想提取源代码的网页，再通过requests.get(url).text将页面转换为字符串，就可以供我们使用了。

信息提取——Xpath

我们普通的网页一般都是XML文档格式，当我们想提取里面的内容时，我们需要借助Xpath来分解其中的格式，提取我们想要的内容。在了解Xpath之前我们需要知道四个基本概念：节点、元素、属性、文本。我们来看一个例子：

''' 更多Python学习资料以及源码教程资料，可以在群1136201545免费获取 ''' Harry Potter J K. Rowling 2005 29.99

这就是一个网页的源码，其中是文档节点， J K. Rowling 是元素节点， lang=“en” 是属性节点。 J K. Rowling 、2005 和29.99是文本（文本通常就是我们想爬取的内容）。

实例分享——爬取豆瓣电影的信息

接下来我们做一个很简单的实例分享，我们想爬取在豆瓣网上的电影《超时空同居》的导演和演员信息。

首先我们找到电影的URL：在这里插入图片描述右键点击看网页的源代码 view page source（或者可以进入开发者模式（insepect））：接下来我们就进入网页源代码了，我们想要搜集的信息就在源代码里，只用输入关键字就可以查看到，比如这里我们输入’雷佳音’就定位到了我们想要寻找的位置：在这里插入图片描述接下来我们就需要分析TML的格式了，例如我们要找到所有的主演：大家可以看到有一个普遍的规律：主演的名字所对应的节点名都为a，属性都为rel=“v:starring”，这样我们就可以很轻易的用xpath的语法定位到拥有这个元素的节点，然后将所有的结果找出。

同理，导演的名字所对应的节点名为a，属性都为rel=" v:directedBy"，我们同样可以通过这个定位找到相应的文本：

在这里插入图片描述具体的代码如下：

import requests from lxml import etree url='https://movie.douban.com/subject/27133303/?from=showing' #输入我们的url get = requests.get(url).text # get(url) 得到我们的网页, text将源网页转化为字符串 selector = etree.HTML(get) # 将源码转换为xpath可以识别的TML格式 info = {} #字典用于储存信息 info['电影'] = selector.xpath('//title/text()')[0].strip() # 定位电影名字 info['导演']=selector.xpath('//a[@rel="v:directedBy"]/text()') # 定位导演名字 info['演员']=selector.xpath('//a[@rel="v:starring"]/text()') # 定位演员名字 print(info)

最后我们得到一个字典集的结果：

{'电影': '超时空同居 (豆瓣)', '导演': ['苏伦'], '演员': ['雷佳音', '佟丽娅', '张衣', '于和伟', '王正佳', '陶虹', '李念', '李光洁', '杨玏', '范明', '徐峥', '杨迪', '方龄', '陈昊']} 实例分享2——爬取带有json格式豆瓣电影的信息

首先，json是一种轻量级的数据交换格式，它简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

在我们爬虫的过程中，我们有时候可以在开发者模式返回的网页里找到完整的json格式的数据，这时候我们就可以运用requests包里的json函数将爬取到的原文本转化格式，从而方便我们提取内容。我们还是拿豆瓣电影举例：在这里插入图片描述这是点击分类后我们看到的电影信息，假如我们想爬取这些电影的信息，我们可以点击右键进入开发者模式（inspector）。在打开开发者模式之后一定要记得刷新一次，否则不会显示之前接收到的页面信息。然后我们选择右边标签的network，下面再点击XHR选项,我们就会看到一个返回的网页，双击它。在这里插入图片描述上图就是打开后的json文件，由于我的电脑下载了json插件的缘故，它的格式要更清晰（使用Chrome浏览器的同学可以进入Chrome商店下载Juan Ramón JSON Beautifier Chrome插件）。Json文件其实也可以被理解为是一个大的字典，里面有很多层小的字典和列表，我们找到json网页后只需要用requests变成json格式即可方便的提取信息。代码如下：

import requests url='https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start=0' get = requests.get(url).json() #用json()函数得到网页源码 ''' 更多Python学习资料以及源码教程资料，可以在群1136201545免费获取 ''' get = get['data'] info = {} for i in range(len(get)): info[get[i]['title']] = [get[i]['directors'], get[i]['rate'] ] #提取每部电影的导演和评分 print(info)

【本文地址】

公司简介

联系我们