网络爬虫 您所在的位置:网站首页 中国排名前十的设计大学 网络爬虫

网络爬虫

#网络爬虫| 来源: 网络整理| 查看: 265

网络爬虫——中国大学排名数据抓取 目标网址

中国大学排名网:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html

全球有很多份大学排名,这里以上海交通大学研发的“软科中国最好大学排名2019”为例,,编写“大学排名爬虫”,从网络上获取数据 。拟从该网址爬取该名单上310 所国内大学的排名数据,并将它们打印出来。 在这里插入图片描述

大学排名爬虫的构建需要三个重要步骤:

第一,从网络上获取网页内容;

第二,分析网页内容并提取有用数据到恰当的数据结构中;

第三,利用数据结构展示或进一步处理数据。

由于大学排名是一个典型的二维数据,因此,采用二维列表存储该排名所涉及的表单数据。具体来说,采用requests 库爬取网页内容,使用beautifulsoup4 库分析网页中数据,提取310 个学校的排名及相关数据,存储到二维列表中,最后采用用户偏好的方式打印出来。

源码 import requests from bs4 import BeautifulSoup import bs4 def getHtmlText(url): try: result = requests.get(url


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有