用Python简单的实现一下六大主流小说平台小说下载（附源码） |
您所在的位置：网站首页 › 笔趣阁怎么上传小说文件 › 用Python简单的实现一下六大主流小说平台小说下载（附源码） |
用Python简单的实现一下六大主流小说平台小说下载（附源码）
|
很多小伙伴学习Python的初衷就是为了爬取小说，方便又快捷~ 辣么今天咱们来分享6个主流小说平台的爬取教程~
流程基本都差不多，只是看网站具体加密反爬，咱们再进行解密。 实现爬虫的第一步? 1、去抓包分析，分析数据在什么地方。 1. 打开开发者工具 2. 刷新网页 3. 找数据 --> 通过关键字搜索2、获取小说内容 1. 目标网址 2. 获取网页源代码请求小说链接地址，解析出来 。 3. 请求小说内容数据包链接: 4. 获取加密内容 --> ChapterContent 5. 进行解密 --> 分析加密规则 是通过什么样方式 什么样代码进行加密3、获取响应数据 response.text 获取文本数据 字符串 response.json() 获取json数据 完整json数据格式 response.content 获取二进制数据 图片 视频 音频 特定格式文件 二、案例1、书旗 环境模块 [环境使用]: Python 3.8 Pycharm [模块使用]: requests execjs re源码展示 # 导入数据请求模块 import requests # 导入正则模块 import re import execjs # 模拟浏览器 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.3' } # 请求链接 -> 目录页面链接 html = '网址屏蔽了，不然过不了' # 发送请求 html_ = requests.get(url=html, headers=headers).text # 小说名字 name = re.findall('(.*?)-书旗网', html_)[0] # 提取章节名字 / 章节ID info = re.findall('data-clog="chapter\$\$chapterid=(\d+)&bid=8826245">\d+\.(.*?)', html_, re.S) print(name) # for 循环遍历 for chapter_id, index in info: title = index.strip() print(chapter_id, title) # 请求链接 url = f'https://网址屏蔽了，不然过不了/reader?bid=8826245&cid={chapter_id}' # 发送请求 响应对象 response = requests.get(url=url, headers=headers) # 获取响应数据 html_data = response.text # 正则匹配数据 data = re.findall('contUrlSuffix":"\?(.*?)","shelf', html_data)[0].replace('amp;', '') # 构建小说数据包链接地址 link = 'https://c13.网址屏蔽了，不然过不了.com/pcapi/chapter/contentfree/?' + data # 发送请求 json_data = requests.get(url=link, headers=headers).json() # 键值对取值, 提取加密内容 ChapterContent = json_data['ChapterContent'] # 解密内容 --> 通过python调用JS代码, 解密 f = open('书旗.js', encoding='utf-8') # 读取JS代码 text = f.read() # 编译JS代码 js_code = execjs.compile(text) # 调用Js代码函数 result = js_code.call('_decodeCont', ChapterContent).replace('', '\n').replace('', '') # 保存数据 with open(f'{name}.txt', mode='a', encoding='utf-8') as v: v.write(title) v.write('\n') v.write(result) v.write('\n') print(json_data) print(ChapterContent) print(result)效果展示
环境模块 [环境使用]: Python 3.8 Pycharm [模块使用]: requests --> pip install requests execjs --> pip install pyexecjs re源码 # 导入数据请求模块 import requests # 导入正则表达式模块 import re # 导入读取JS代码 import execjs # 模拟浏览器 headers = { 'Host': '网址屏蔽了，以免不过', 'Referer': '网址屏蔽了，以免不过', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36', } # 请求链接 link = '网址屏蔽了，以免不过' # 发送请求 link_data = requests.get(url=link, headers=headers).text # 小说名字 name = re.findall('book_name" content="(.*?)">', link_data)[0] # 章节ID 和 章节名字 info = re.findall('href="/book/\d+/(\d+)/" target="_blank">(.*?)', link_data)[9:] page = 1 # for 循环遍历 for chapter_id, title in info: print(chapter_id, title) # 获取广告 data-limit 参数 j = open('塔读.js', encoding='utf-8') # 读取JS代码 text = j.read() # 编译JS代码 js_code = execjs.compile(text) # 调用js代码函数 data_limit = js_code.call('o', chapter_id) print(data_limit) # 请求链接 url = f'网址屏蔽了，以免不过/{page}' # 发送请求 响应对象 表示请求成功 response = requests.get(url=url, headers=headers) # 获取响应json数据 --> 字典数据类型 json_data = response.json() # 解析数据 -> 键值对取值 content 获取下来 content = json_data['data']['content'] # 处理小说内容广告 初级版本 --> 后续需要升级 content_1 = re.sub(f' |
2、塔读【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |