Python爬虫教程:包图网免费付费素材爬取【附源码】 | 您所在的位置:网站首页 › 包图网如何下载工程文件 › Python爬虫教程:包图网免费付费素材爬取【附源码】 |
包图网大家都知道吧 集齐海量设计素材 十分好用 可惜太贵了,今天就带大家使用Python—爬虫爬取这些素材并且保存到本地! 抓取一个网站的内容,我们需要从以下几方面入手: 1-如何抓取网站的下一页链接? 2-目标资源是静态还是动态(视频、图片等) 3-该网站的数据结构格式 源代码如下 import requests from lxml import etree import threading class Spider(object): def __init__(self): self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"} self.offset = 1 def start_work(self, url): print("正在爬取第 %d 页......" % self.offset) self.offset += 1 response = requests.get(url=url,headers=self.headers) html = response.content.decode() html |
CopyRight 2018-2019 实验室设备网 版权所有 |