前面，我们分析的都是简单的网页直接加载所得的结果。也就是说，通过requests库请求的网页数据都是存在的。

但是，现实并不总是如此，有很多大型的网站其网页的数据都是通过javascript执行后获取的，如果需要常规处理爬虫，我们需要分析JavaScript代码。

但即使你分析出来了，也可能有大量的数据是经过加密处理的，有时候很难找到解析的规律，这个时候想要抓取数据，就必须等待浏览器加载完成之后获取。

而要得到所见即所得的网页数据，就必须等待浏览器加载完成，这个时候，只要加载完成，不管其使用了多么复杂的反爬虫技术，都不会影响爬取的结果。

而这个库就是：Selenium库，它能模拟浏览器进行网页的加载与生成，也就是所见即所得。老规矩，使用之前必须安装该库：

不过，仅仅有selenium库是不能运行程序的，因为selenium库使用了WebDriver接口，比如我们后续都使用Chrome浏览器，那么你需要下载chromedriver，下载链接如下：

在这个链接中，找到对应系统，对于Chrome浏览器版本的chromedriver进行下载。下载完成之后，建议开发中配置其到PATH开发环境之中，这样不管项目在哪里都可以运行。

如果你没有配置环境变量，那么将文件放在项目目录也就可以运行，后面会讲解不配置环境也可以哪里都可以运行的方式，这里先略过。

既然，我们Selenium库的运行环境已经完全配置成功。下面，我们来实现一个最基本的用法，也就是打开淘宝，并自动搜索不二家棒棒糖，示例如下：

运行之后，效果如下：

这里，我们通过文件位置指定，设置了chromedriver，这也就是不配置环境的办法。不过，这是在项目目录，你不写默认也可以运行。而其他的，我们通过browser.get()加载网页，通过find_element_by_id()发现标签，通过send_keys()填入标签内容，通过send_keys(Keys.ENTER)模拟按下回车键搜索。至于其他的后续有详细的介绍。

在基本用法中，我们通过find_element_by_id()方法进行查找节点，但是find具有很多的方法，我们先来看一张图：

可以看到，我们可以通过class，id，xpath，tag_name等查找节点的内容，而且具有相同标签或者class等节点的还提供了elements以及element的2种方式。

elements获取所有集合列表，element获取一个标签，如果多个标签相同，获取第一个标签。

下面，我们来分别使用这些方法，查找节点。首先，我们使用element方法查找单个节点，示例代码如下所示：

这里，我们使用京东网页进行测试获取单个元素。运行之后，效果如下：

需要额外注意最后一个通用方法：find_element。它前面是指定你根据什么规则去找，后面是这个规则的字符串。

Selenium库的element()的每个方法，都对应着一个elements()方法。而elements()方法就是用于查找多个节点的方式。示例如下：

这里，我们只通过2个方法举例，其他的方法都是直接在element后面加个s即可。因为elements()方法获取的都是元素列表，所以可以进行一个个的遍历处理。

运行之后，效果如下：

在前面的基础用法中，我们通过Selenium库实现了自动搜索等功能。这也是Selenium库最大的优点，它可以与节点交互，模拟人的操作。

比如，输入文本框，点击按钮，点击链接等等，都属于交互范畴。Selenium库都完全支持。这里，我们从京东主页进入家用电器板块，代码如下：

其click()方法，就是模拟用户进行点击操作。因为这是个超链接点击之后就会跳转，这里不展示，感兴趣的读者可以自己测试。

在实际的爬虫程序中，我们往往并不是只用于跳转链接，获取搜索而已。更多的时候，我们的动作是连续的。

比如我要模拟一个手机下单，首先需要进入手机购买界面，选择购买的型号，点击购买的链接，然后付款，这是一个完整的动作链。

Selenium库中，这些动作链的实现需要创建ActionChains对象，并通过ActionChains类的若干方法向浏览器发送一个或多个动作。

现在，我们来实现一个有趣的动作链，刚刚前面不是点击手机链接吗？现在，我们不点击链接，只将这个二级导航一个一个的展开。示例代码如下所示：

运行之后，效果如下：

其动作链还有很多其他的操作方式，比如拖动操作使用的是drag_and_drop()，双击double_click()等，这些一个一个讲太多，使用方式与这个差不多，所以跳过。

说句不好的爬虫使用方式，那就是刷新浏览量。而很多网页并不将打开网站视作浏览量的增加，而是你浏览了或者停留了一段时间才增加浏览量，这个时候怎么办？

我们可以自己定义一个Javascript代码，将页面缓慢滑动，或者说直接滑动到底部，示例代码如下所示：

在Selenium库中，我们使用execute_script执行Javascript代码，这里的意思是滑动到网页的底部。同样的你可以通过execute_async_script()方法alert一个弹出框。

节点信息都是一些简单的数据，这里小编用一个表格专门列出来这些数据如果获取调用，如下表所示：

这些都是一些简单的方法，这里就不演示了，不过有一个节点需要注意，它就是location，在我们识别验证码的时候，往往用它进行定位然后截图。当然，其也可以应用于移动元素锁定位置。

其实，我们使用Selenium库用的最多的就是其辅助登录，要知道现在验证码千奇百怪，有的需要手机验证码才能登录，有的需要滑动模块登录，但博主相信，以后肯定是二维码登录为主。

比如，博主写过一个抢购茅台的脚本，就需要开始辅助验证码登录之后，开始抢购。登录之后，我们主要用于获取Cookie，下面，我们来模拟京东登录，并获取Cookie，示例如下：

运行之后，效果如下：

可以看到，我们通过get_cookies获取登录后的cookie，通过delete_all_cookies删除cookie值。如果你有现成的cookie，可以通过add_cookie方法进行设置。

这里，我们来做一个有趣的实验。比如百度中间有一个百度一下的按钮，我们这里试着将其移动位置。示例如下：

运行之后，效果如下：

按钮会在设置的x,y区间每2秒动一次。感兴趣的读者可以自己运行观察一下，这里直接方运行之后的一个结果。

初始步骤很简单，就与开头基础用法一样，搜索编程书籍然后跳转。不过，后面的内容才是真正的爬虫问题，这里我们先来看看帮当书籍在哪里，如下图所示：

可以看到我们的每个书籍订单都是在ul之中，不过，这里只是默认的搜索编程书籍出来的结果，我们需要的是销量排行，所以这里需要再次点击销量后，在获取。

完整的代码如下所示：

运行之后，效果如下：