手把手教你使用Python网络爬虫获取王者荣耀英雄皮肤 |
您所在的位置:网站首页 › 王者荣耀所有皮肤的名字大全及图片高清 › 手把手教你使用Python网络爬虫获取王者荣耀英雄皮肤 |
今 日 鸡 汤 欢度国庆,共度中秋。 /1 前言/ 王者荣耀,想必大家都玩过或听过,游戏里中各式各样的英雄,每款皮肤都非常精美,用做电脑壁纸再合适不过了。今天来教大家如何使用Python来爬取这些精美的英雄皮肤。 /2 项目目标/ 创建一个文件夹, 英雄分类保存所有皮肤图片。下载成功结果显示控制台。 /3 项目准备/ 软件:PyCharm 需要的库:requests、lxml、fake_useragent、json、os 网站如下: https://www.555x.org/html/wuxiaxianxia/list_29_{}.html/4 项目分析/ 1、首先打开王者荣耀官网,点击英雄资料。 2、F12右键检查,点击英雄链接。 3、多点几个英雄链接看看网址规律。 herodetail/531.shtml herodetail/523.shtml herodetail/199.shtml发现只有后面的数字在变化,最后的数字应该是控制的是哪个英雄,我们暂且认为它是英雄的编号。 4、按下F5刷新页面,点击network,找到herolist .json。(乱码没关系把herolist .json下载下来观察)如图: 看到ename,就是对应网址后缀英雄的名称。而cname是对应英雄的名称。skin_name对应皮肤的名字。 5、点击英雄链接。观察图片地址的变化。http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-1.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-2.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-3.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-4.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-5.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-6.jpg http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/107/107-bigskin-7.jpg6、观察到同一个英雄的皮肤图片路径从1开始依次递增,我们再来看看不同英雄之间是如何区分的。会发现,107/107-这个英雄的编号不一样,获取到的图片就不一样。决定的是ename。 7、我们可以用字符串拼接的方式进行访问。 https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{}/{}-bigskin-{}.jpg/5 项目实现/ 1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址,并创建保存文件夹,代码如下所示。 import requests, json, os from lxml import etree from fake_useragent import UserAgent class wzry(object): def __init__(self): os.mkdir("王者") # 创建王者荣耀这个文件夹 记住只有第一次运行加上,如果多次运行请注释掉本行 def main(self): pass if __name__ == '__main__': Siper=wzry() Siper.main()2、创建wzry方法(),主方法(main)实现 ,对herolist .json 进行json解析。def wzry(self): response = requests.get('https://pvp.qq.com/web201605/js/herolist.json', headers=self.headers) content = response.text # 这里后获取的是json数据类型需要 转换成Python对应类型 data = json.loads(content) def main(self): self,wzry()3、for遍历data获取需要的字段。创建对应的英雄文件夹。for i in data: hero_number = i['ename'] # 获取英雄名字编号 hero_name = i['cname'] # 获取英雄名字 os.mkdir("././王者荣耀/{}".format(hero_name)) # 创建英雄对应的文件夹4、对英雄界面发生请求,利用xpath解析数据,代码如下。response_src = requests.get("https://pvp.qq.com/web201605/herodetail/{}.shtml".format(hero_number), headers=self.headers) hero_content = response_src.content.decode('gbk') # 返回相应的html页面 hero_data = etree.HTML(hero_content) # xpath解析对象 hero_img = hero_data.xpath('//div[@class="pic-pf"]/ul/@data-imgname') # 提取每个英雄的皮肤名字 hero_src = hero_img[0].split('|') # 去掉每个皮肤名字中间的分隔符5、遍历英雄src处理图片名称。for i in range(len(hero_src)): i_num = hero_src[i].find("&") skin_name = hero_src[i][:i_num] #print(skin_name) # 皮肤图片地址请求6、图片地址请求。response_skin = requests.get( "https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{}/{}-bigskin-{}.jpg".format( hero_number, hero_number, i + 1)) skin_img = response_skin.content # 获取每个皮肤图片7、 把皮肤图片存储到对应名字的文件里,成功显示控制台。with open("./王者荣耀/{}/{}.jpg".format(hero_name, skin_name), "wb")as f: f.write(skin_img) # 把皮肤图片存储到对应名字的文件里 print("%s.jpg 下载成功!!" % (skin_name))/6 效果展示/ 1、点击绿色小三角运行。需要注意的是创建王者荣耀这个文件夹,记住只有第一次运行加上。 2、运行程序后,结果显示在控制台,如下图所示。 3、英雄分类列表。 4、双击文件,即可展示。 /7 小结/ 1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。 2、希望通过这个项目,能够帮助了解json解析页面的基本流程,字符串是如何拼接,format函数如何运用。 3、本文基于Python网络爬虫,利用爬虫库,实现王者荣耀图片。实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。 4、如果需要本文源码的话,请在公众号后台回复“王者荣耀”四个字进行获取,觉得不错,记得给个star噢。 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |