Python Selenium 获取页面所有文本内容 | 您所在的位置:网站首页 › python怎么爬取网站所有网页内容 › Python Selenium 获取页面所有文本内容 |
分享知识 传递快乐
用 Selenium 爬虫获取网页上显示的文本,首先安装 lxml 模块: pip install lxml代码: driver = webdriver.Chrome() driver.maximize_window() driver.get("url") # 获取页面源代码 html_source = driver.page_source # 重点 html = lxml.html.fromstring(html_source) # 获取标签下所有文本 items = html.xpath("//div[@id='y_prodsingle']//text()") # 正则 匹配以下内容 \s+ 首空格 \s+$ 尾空格 \n 换行 pattern = re.compile("^\s+|\s+$|\n") clause_text = "" for item in items: # 将匹配到的内容用空替换,即去除匹配的内容,只留下文本 line = re.sub(pattern, "", item) if len(line) > 0: clause_text += line + "\n" # # print(clause_text)参考: Python lxml 从网页HTML/XML提取数据 如果您另有获取页面文本的方法请留言。 ————————— 如有不足请留言指正 相互学习,共同进步 |
CopyRight 2018-2019 实验室设备网 版权所有 |