找了一个新闻网站练习爬虫抓取，目标：逐一点击目录标题，进入详细新闻页面，抓取子页面的标题和正文内容并打印出来，返回目录标题页，点击下一篇文章。注：没有新开窗口，是在原窗口实现跳转。新开窗口进行抓取看下一篇文章。

试了很多种方法都抓取不到class=rightContent下面每个a标签里的href链接，开始思考是不是因为href链接都放在li列表里面导致。

后面终于试到怎么获取这些在列表li里的href链接了：首先第一步先抓取到所有a标签，这里用的是绝对路径，比较方便，直接右键copy→xpath。这样抓取出来的是一个列表links：

通过for link in links遍历所有抓取出来的a标签内容，然后再用get_attribute()函数来获取每一个link的href属性，得到的是a标签对应的目标页面的URL：

这样就能获得每一个子页面地址。但要注意，这里抓取出来的是地址的字符串，不能点击。相当于在word里面输入网址，但是没按回车制造超链接，使网址变成了普通文字。这时候不能用click()，应该要用driver.get()来让浏览器加载这个url，相当于把网址的字符串复制到浏览器网址栏直接打开网址：

打开子页面成功抓取第一篇的标题和正文退回目录页后，发现停住不动了。这时候是因为页面发生跳转后，所有元素的信息都变更了。因此，需要在每次回到目录页面后重新抓取a标签，同时又必须接着上次点击后一个的元素继续点击。使用遍历的方法来实现这个for循环，完整代码如下：

参考资料：python selenium自动化（一）点击页面链接测试Python+Selenium WebDriver API：浏览器及元素的常用函数及变量整理总结