python爬虫英文怎么说

使用scrapy.Request函数的meta参数来在两次请求的响应中传值

对于动态js页面的处理：此次，网页是在加载之后自动执行js代码来修改html元素的属性，添加链接。首先我想到的是按着js代码来改出相应的python代码，用python代码的运算得到最终想要获取的值，虽然速度会快，但是比较繁琐，而且不够通用，也有可能有潜藏的问题，于是还是选择了最通用的selenium来控制浏览器加载页面，再获取自动运行js后的页面，然后利用正则分析页面，这样稍微慢一些，但是比较比较便捷稳定。

此外，此次爬取的网盘它的资源是放在不同的服务器上的，对应的是wwwxy.zippyshare.com，xy是数字来区别不同的服务器，所以在页面上获取到相对路由后要加上正确的服务器域名；还有就是这个网站的网盘资源链接具有时效性，过一段时间后它会重置资源的获取路径，而原来的资源链接会重新路由到下载界面；关于后处理中的迅雷下载，我采用了将所有链接放在一个txt文件里的方法，复制所有链接时迅雷会侦听到并询问下载，同时也生成了另一篇文章中的markdown文件方便挑选。另外，还有个小bug就是scrapy会打开两个浏览器窗口，但是只用一个，不影响功能，暂时没管，有朋友赐教的话，非常感谢。

Scrapy爬虫

我命名文件为book1.py，使用scrapy runspider book1.py -o 2.json运行。

用的是selenium操作Chrome浏览器，Chromedriver下载，使用时要指定该可执行文件的位置。

修改第7行的search_what获取其它资源的所有相关书籍链接，这里我选的是python。

# -*- coding: utf-8 -*-

import scrapy

from selenium import webdriver

import re

search_what = 'python'

browser = webdriver.Chrome(r'E:\python\Scrapy2\book\book\spiders\chromedriver') # 指定Chromedriver.exe的位置

class Book1Spider(scrapy.Spider):

name = "book1"

allowed_domains = ["foxebook.net", "zippyshare.com"]

down_base_url = ".zippyshare.com" # wwwxy,xy为数字代表不同服务器

search_url = "http://www.foxebook.net/search/{}/page/{}"

book_base_url = "http://www.foxebook.net"

wd = browser # 获得浏览器对象

reg = re.compile('')

headers = {

"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36",

}

num = 0 # 页数

def start_requests(self): # 默认的开始函数，用于提供要爬取的链接

yield scrapy.Request(self.search_url.format(search_what, 0),

headers = self.headers,

callback = self.first_parse)

def first_parse(self, response):

max_page = response.css('.next a::attr("href")').extract_first().split('/')[-2]

print(int(max_page))

while self.num < int(max_page):

self.num += 1

yield scrapy.Request(self.search_url.format(search_what, self.num),

headers = self.headers,

callback = self.list_parse)

def list_parse(self, response):

title = response.css('h3 a::text').extract()

img = response.css('.img-responsive::attr("src")').extract()

download = response.css(' .btn-info::attr("href")').extract()

info = response.css('.info~ .info+ .info i::text').extract()

for t, im, d, inf in zip(title, img, download, info):

meta = {}

# 使用 meta参数 传值

meta['title'] = t

meta['img'] = im

meta['info'] = inf

yield scrapy.Request(self.book_base_url + d,

meta = meta,

headers = self.headers,

callback = self.book_parse)

def book_parse(self, response):

book_url_list = response.css('.table-hover a::attr("href")').extract()

for i in book_url_list:

book_url = 'http' + i.split('http')[-1]

if 'zip' in book_url: # 网盘名包含zip，以此做判断，其它网盘效果一般，不采用

self.wd.get(book_url) # 在浏览器中打开，通过self.wd.page_source获取浏览器里的响应内容

try:

down_url = book_url.split('.')[0] + self.down_base_url + re.findall(self.reg, self.wd.page_source)[0]

except:

break

yield {

'title':response.meta['title'],

'img':response.meta['img'],

'info':response.meta['info'],

'down_url':down_url,

'web_pan':book_url,

}

else:

pass

# Debug

# from scrapy.shell import inspect_response

# inspect_response(response, self)

# scrapy runspider book1.py -o 2.json

数据后处理

# -*- coding: utf-8 -*-

import json

with open('2.json','r') as f:

data = json.load(f)

data = sorted(data, key =lambda x: x['info'][2:12], reverse=True)

# 以出版日期对文章进行排序

with open("1.txt", 'w') as t:

# 生成便于迅雷下载的链接文件

# 先打开迅雷，再复制该文件内容，迅雷会自动弹出询问是否下载所有链接

for i in data:

t.write(i['down_url']+'\n')

with open('1.md', 'w') as m: # 书籍有可能重复，但是链接是不同的，指向不同服务器

m.write('### 英文Python电子书籍下载链接：\n')

for i in data:

m.write('- **[{title}]({down_url})** \n *{info}*\n  \n --- \n'.format(**i))

# **i 表示解包字典

#import datetime

#datetime.datetime.strptime(x, '%Y-%m-%d')