网络爬虫 | 您所在的位置:网站首页 › 中国排名前十的设计大学 › 网络爬虫 |
网络爬虫——中国大学排名数据抓取
目标网址
中国大学排名网:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html 全球有很多份大学排名,这里以上海交通大学研发的“软科中国最好大学排名2019”为例,,编写“大学排名爬虫”,从网络上获取数据 。拟从该网址爬取该名单上310 所国内大学的排名数据,并将它们打印出来。 大学排名爬虫的构建需要三个重要步骤: 第一,从网络上获取网页内容; 第二,分析网页内容并提取有用数据到恰当的数据结构中; 第三,利用数据结构展示或进一步处理数据。 由于大学排名是一个典型的二维数据,因此,采用二维列表存储该排名所涉及的表单数据。具体来说,采用requests 库爬取网页内容,使用beautifulsoup4 库分析网页中数据,提取310 个学校的排名及相关数据,存储到二维列表中,最后采用用户偏好的方式打印出来。 源码 import requests from bs4 import BeautifulSoup import bs4 def getHtmlText(url): try: result = requests.get(url |
CopyRight 2018-2019 实验室设备网 版权所有 |