一、通过Requests模块获取网页内容并使用BeautifulSoup进行解析

您所在的位置：网站首页 › 网页解析工具在哪里找出来 › 一、通过Requests模块获取网页内容并使用BeautifulSoup进行解析

一、通过Requests模块获取网页内容并使用BeautifulSoup进行解析

2024-07-04 11:28:19| 来源: 网络整理| 查看: 265

这是Python爬虫系列文章第一篇

首先列一下爬虫的四个基本步骤 1.获取数据 2.解析数据 3.提取数据 4.存储数据

下面从最基本的获取数据开始讲起

1、获取内容 import requests response = requests.get('url') # requests.get是在调用requests库中的get()方法，它向服务器发送了一个请求， # 括号里的参数是你需要的数据所在的网址，然后服务器对请求作出了响应。 # 我们把这个响应返回的结果赋值在变量res上。

response的常用属性:

属性作用response.status_code检查请求是否成功response.content把response对象转换为二进制数据response.text把response对象转换为字符串数据response.encoding定义response对象的编码 example图片下载 import requests res = resuqests.get('https://avatar.csdn.net/3/C/B/3_liusuxilinyue.jpg') #上面的url就是我的博客的头像 file = open('photo.jpg','wb') file.write(res.content) file.close 2、使用BeautifulSoup解析数据和提取数据 BeautifulSoup需要进行安装，因为不是python自带的，pip install BeautifulSoup4 基本解析方式 bs = BeautifulSoup(要解析的字符串文本，'解析器') 解析数据 import requests from bs4 import BeautifulSoup res = requests.get('url') html = res.text bs = BeautifulSoup(html,'html.parser') 提取数据方法作用用法示例find()提取满足要求的首个数据BS对象.find(标签，属性)soup.find(‘div’,class_=‘books’)find_all()提取满足要求的所有数据BS对象.find_all(标签，属性)soup.find_all(‘div’,class_=‘books’)

这样提取出来还是tag对象，需要进一步提取

Tag对象的三种常用属性和方法

属性/方法作用Tag.find()/Tag.find_all()提取tag中的tag，与bs对象一样Tag.text提取Tag中的文字Tag[‘属性名’]提取Tag中某个属性的属性值上面整个可以归纳为以下图片形式

在这里插入图片描述

Example import requests # 引用requests库 from bs4 import BeautifulSoup # 引用BeautifulSoup库 res_foods = requests.get('http://www.xiachufang.com/explore/') # 获取数据 bs_foods = BeautifulSoup(res_foods.text,'html.parser') # 解析数据 tag_name = bs_foods.find_all('p',class_='name') # 查找包含菜名和URL的标签 tag_ingredients = bs_foods.find_all('p',class_='ing ellipsis') # 查找包含食材的标签 list_all = [] # 创建一个空列表，用于存储信息 for x in range(len(tag_name)): # 启动一个循环，次数等于菜名的数量 list_food = [tag_name[x].text[18:-14],tag_name[x].find('a')['href'],tag_ingredients[x].text[1:-1]] # 提取信息，封装为列表。注意此处[18:-14]切片和之前不同，是因为此处使用的是标签，而之前是 list_all.append(list_food) # 将信息添加进list_all print(list_all) # 打印

这篇文章先写到这，其实这时简单的静态网页已经可以爬取下来了，只是还需要进行存储操作，这里存储放到下一篇进行讲解。

【本文地址】

公司简介

联系我们

今日新闻

点击排行

实验室常用的仪器、试剂和: 说到实验室常用到的东西，主要就分为仪器、试剂和耗

不用再找了，全球10大实验: 01、赛默飞世尔科技（热电）Thermo Fisher Scientif

三代水柜的量产巅峰T-72坦: 作者：寞寒最近，西边闹腾挺大，本来小寞以为忙完这

通风柜跟实验室通风系统有: 说到通风柜跟实验室通风，不少人都纠结二者到底是不

集消毒杀菌、烘干收纳为一: 厨房是家里细菌较多的地方，潮湿的环境、没有完全密

实验室设备之全钢实验台如: 全钢实验台是实验室家具中较为重要的家具之一，很多

图片新闻

实验室药品柜的特性有哪些: 实验室药品柜是实验室家具的重要组成部分之一，主要

小学科学实验中有哪些教学: 计算机计算器一般打孔器打气筒仪器车显微镜

实验室各种仪器原理动图讲: 1.紫外分光光谱UV分析原理：吸收紫外光能量，引起分

高中化学常见仪器及实验装: 1、可加热仪器：2、计量仪器：（1）仪器A的名称：量

微生物操作主要设备和器具: 今天盘点一下微生物操作主要设备和器具，别嫌我啰嗦

浅谈通风柜使用基本常识: 　众所周知，通风柜功能中最主要的就是排气功能。在

一、通过Requests模块获取网页内容并使用BeautifulSoup进行解析

一、通过Requests模块获取网页内容并使用BeautifulSoup进行解析

今日新闻

点击排行

推荐新闻

图片新闻

专题文章