解决 selenium 加载网页阻塞的问题

2024-06-28 05:00| 来源: 网络整理| 查看: 265

selenium 的 webdriver 对象有一个 get 方法，可以打开指定的 URL，但是它是阻塞的，除非整个网页都加载完，否则不会返回。这样有两个弊端：一、很多时候，我们不需要整个网页都加载出来。二、如果网页因某种原因卡住，我们的程序也会卡住。解决这个问题的方法，就是用 set_page_load_timeout 函数和 WebDriverWait。

参数解释

set_page_load_timeout(t)：设置 get 方法的最大执行时间为 t 秒。

class WebDriverWait(object):

def __init__(self, driver, timeout, poll_frequency=POLL_FREQUENCY, ignored_exceptions=None) timeout：等待的最大时间（单位：秒）

poll_frequency：检查的时间间隔（默认 0.5 秒）

ignored_exceptions：执行检查函数时要无视的异常

def until(self, method, message='')

method：检查函数。必须只有一个参数，接受初始化时传入的 driver。只有当该函数返回 True 或者超时，程序才会继续

message：若超时抛出的异常信息

from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.common.exceptions import TimeoutException driver = webdriver.Firefox() driver.set_page_load_timeout(0.01) try: driver.get('https://www.baidu.com/') except TimeoutException: print('timeout') WebDriverWait(driver, 10, 0.1).until(lambda x: x.find_element_by_id('kw')) print('the page is loaded')

我们把网页加载的最大时间设置为 0.01s，这样，get 方法立刻就会抛出 TimeoutException，我们不管它，然后用 WebDriverWait 判断网页有没有加载完毕。

问题解决！

【本文地址】

公司简介

联系我们

今日新闻

推荐新闻

专题文章