对携程酒店用户评价爬取 | 您所在的位置:网站首页 › 携程酒店评价 › 对携程酒店用户评价爬取 |
对携程酒店用户评价爬取 (1)直接贴代码,后面逐步分析
!pip install beautifulsoup4 !pip install xlwt import re import urllib.request,urllib.error import xlwt import sqlite3 from bs4 import BeautifulSoup def main(): BaseUrl="https://m.ctrip.com/webapp/hotel/hoteldetail/dianping/65822792.html?&fr=detail&atime=20210519&days=1" #1.爬取网页 datalist=getDate(BaseUrl) savaPath="D:/XieCheng.xls" #2.保存数据 SavaPath(datalist,savaPath) #用户名 findTitle=re.compile(r'(.*?)') #等级 findLevel=re.compile(r'(.*?)',re.S) #入住时间 findTime=re.compile(r'(.*?)') #入住类型 findType=re.compile(r'(.*?)') #入住房间 findHotel=re.compile(r' (.*?)') #评价 findAssess=re.compile(r' (.*?) ',re.S) #回复 findResponse=re.compile(r' (.*?)',re.S)
获取到的网页我是保存在excel表格里面的。
(4)由于携程是动态载入,所以一次只能爬取10条。关于动态爬取我放在下一篇。 |
CopyRight 2018-2019 实验室设备网 版权所有 |