selenium webdriver 开启网页失败,被发现为爬虫,的解决办法 | 您所在的位置:网站首页 › java爬取数据与网页不一样怎么办 › selenium webdriver 开启网页失败,被发现为爬虫,的解决办法 |
(1)换用火狐浏览器 (2)隐藏谷歌浏览器中的特殊变量值 from selenium import webdriver options = webdriver.ChromeOptions() # -- 防止被检测,旧版本用法(1): # chrome在79版之前用这个 options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAutomationExtension', False) driver = webdriver.Chrome(options=options) # -- 防止被检测,新版本用法(2): # chrome在79和79版之后用这个 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ }) driver.get("http://www.xxx.com/") time.sleep(60) driver.close() driver.quit()网站检测selenium的原理是: (1)selenium在开启后的浏览器加了一些变量值,如:window.navigator.webdriver 等等。 (2)像window.navigator.webdriver,在正常的谷歌浏览器是undefined,在selenium打开的谷歌浏览器是true。网站就下发js代码,检测这个变量值给网站,网站判断这个值,为true就是爬虫程序就封杀。 变量值一般不止这一个。 不同的浏览器驱动不同,像火狐浏览器,控制台输入window.navigator.webdriver,虽然还是true,但不会被检测出来。 |
CopyRight 2018-2019 实验室设备网 版权所有 |