网页html弹窗公告代码 您所在的位置:网站首页 uipath爬虫 网页html弹窗公告代码

网页html弹窗公告代码

#网页html弹窗公告代码| 来源: 网络整理| 查看: 265

ff95bc4596a2eb9902de589c3468b6df.png

对于一些大家期待的电影会想值得它什么时候预售,特别是某些热门的电影,若是不及时知道预售开始的消息很可能抢不到好位置的票。对于某部特别热门的电影,有童鞋在朋友圈说不怕期中,4月就怕抢不到某电影首映的票。

虽然一些相关的公众号或者微博会在得到消息后及时更新,但是从技术的角度考虑,随着各种集成票务平台的发展,我们可以自己跑个程序监测某些电影是否开启了预售。

拿看电影的猫眼电影为例,思路就是先看看开启预售的电影和未开启预售的电影主页间的差别,然后得到需要监测的电影主页的url之后,用爬虫监测页面内容的变化,在确认有购票(预售)信息后及时通知自己

d7774e349cf680dc8475672f3c86300c.png 未开启预售电影与开启了预售的电影页面的区别 对特定电影进行售票监测

针对猫眼电影的监测有两种做法,一种是看首页->即将上映中标注预售的电影列表里是否有目标电影;

10101b5e081e46c88488cc7fe6093e3b.png 对猫眼首页预售电影列表进行监测

第二种是看目标电影的主页里是否有购票按钮,下面主要实现一下第二种思路,自己确实很希望能及时知道《复联四》预售的消息。首先从猫眼电影网页版主页找到目标电影,还是拿《Avengers: Endgame》举例,点击进入主页,复制url,按道理猫眼每部电影主页url是不变的,在网页打开源码定位到“想看、评分”的部分,对应的是 部分,根据其他开启了预售的电影页面代码,如果开启预售这里会有个购票按钮的,因此主要监测这部分HTML的变化,自己习惯于用xpath,因此复制xpath,写出以下代码:

import time import requestsimport tracebackfrom lxml import etreedef monitorBtnbuy(url,t=0):#url:需要监测的电影主页while True: #主循环try:txt=requests.get(url).texthtml=etree.HTML(txt)try:ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()') #复制下来的xpathif ptxt==[]: #如果开启预售ptxt会是['特惠购票'] 否则是空列表time.sleep(30) #sleep一段时间继续爬页面elif ptxt[0]=='特惠购票': #赶紧想办法提醒自己#可以用各种提醒方式,如print、弹出窗口,发微信消息,发邮件等print('开启预售了!!')#passexcept:#输出错误信息traceback.print_exc()time.sleep(3) t+=1if t>5:break #因为是测试所以加了个breakurl='https://maoyan.com/films/1156894' #monitorBtnbuy(url,t=3)

拿一个已经开启预售的电影测试,再拿目标网页进行测试,能正常跑。因为是测试,把sleep的时间调为2秒,测试完之后设置为每15分钟或30分钟获取一下页面。

监测提醒

接下来完善提醒部分,可以用各种提醒方式,如控制台输出、弹出窗口,发微信消息,发邮件等,为了确保我及时知道,选择弹窗+微信消息,Python中写轻量化的GUI页面用内置的tkinter比较方便,微信提醒选择封装比较好的[wxpy](youfou/wxpy)。如果页面更新了包含预售消息,会同时有微信消息(我选择是发送到自己的一个群里),然后跑代码的电脑端会有一个弹窗(messagebox)。收到提醒就赶紧去买票。

继续完善monitorBtnbuy(url)函数,最后代码如下:

def getOneUrl(url): #获取一个页面try:r=requests.get(url,timeout=30)#r.encoding=r.apparent_encodingreturn r.textexcept:traceback.print_exc()return Nonedef showMsg():window = tk.Tk()window.title('prrrrrr')window.geometry('400x400')tk.Button(window,text='presale').pack()window.mainloop()def showMsg2():win = tk.Tk()win.title('prrrrrr')win.geometry('400x400')tk.Button(win,text='presale').pack()win.mainloop()def monitorBtnbuy(url,t=0):bot = Bot()while True:txt=getOneUrl(url)if txt==None:passelse: html=etree.HTML(txt)try:ptxt=html.xpath('/html/body/div[3]/div/div[2]/div[2]/a/text()')if ptxt==[]:if t%5==0:print('现在是{0},还没有预售信息;t={1}'.format(time.asctime(),t))time.sleep(180)if t%2==0:time.sleep(60*15) #每次t是偶数sleep15分钟time.sleep(120) #2minselif ptxt[0]=='特惠购票': #赶紧想办法提醒自己print(time.asctime(),ptxt[0])group = bot.groups().search('def-self')[0] #给特定的群里发消息group.send('预售开始!')group.send(url)print('msg.send()')showMsg()showMsg2()except:traceback.print_exc()time.sleep(5)t+=1#if t>20:breakurl='https://maoyan.com/films/248172'monitorBtnbuy(url)

运行效果如下:

98071a278028f1be7d5986ff86ba6f66.png 监测运行效果1

51d1329179fe5cbc03f6ce4584f542a4.png 监测效果2 对特点电影院进行监测

思路还是看特定网页的特征,定位到增加电影院或特定电影院增加自己关注的电影再用xpath匹配。拿猫眼电影《复联四》的售票页面来说,选定行政区商圈之后,看url的变化,以及定位下面电影院的位置,然后看源码复制xpath,粘贴到代码里,猫眼特别好的地方是会把电影的id和电影院的id都写在url里,格式如: https://maoyan.com/cinema/197?poi=279439&movieId=248172(这里对应的是美嘉电影院),可以看到网页HTML的层级是很容易理解的,有个movie-list,下面的 div包含data-movieid属性。

db25324eb87ba6d7b7a9437ff468bd60.png 猫眼中电影院的可购票电影页面 def monitorZhongguanc(url,t=0,ts=1):#对中关村商圈进行监测had=False #ts:两次get页面间隔,分钟while True: #主循环try:txt=requests.get(url).texthtml=etree.HTML(txt)mlst=html.xpath('//*[@id="app"]/div[2]/div[*]/div[1]/a/text()')mlen=len(mlst)if mlen>t:had=Truefor i in range(t,mlen):print("add{0}".format(mlst[i]))print(mlst)t=mlenshowYZMsg()if had:had=Falseelse:lct=time.localtime()if lct.tm_min>50: #50-60ts=2elif lct.tm_min>35:#36-49ts=5elif lct.tm_min>20: #21-34ts=10elif lct.tm_min>15: #16-20ts=4else: #0-15ts=1print('现在是{0},还没有预售消息;{1}'.format(time.asctime(),t))time.sleep(60*ts) #sleep一段时间继续爬页面except:#输出错误信息traceback.print_exc()time.sleep(ts) def monitorMeijia(url,t=0,ts=1):#url:需要监测的电影主页while True: #主循环try:txt=requests.get(url).texthtml=etree.HTML(txt)mlst=html.xpath('//*[@id="app"]/div[1]/div')[0].getchildren()had=Falsefor m in mlst:mid=m.attrib.get('data-movieid',0)if mid=='248172':print('电影院开启预售了!!{0}'.format(time.asctime()))had=Truebreakif had:showYZMsg()else:lct=time.localtime()if lct.tm_min>50: #50-60ts=2elif lct.tm_min>35:#36-49print('现在是{0},还没有预售消息,{1}'.format(time.asctime(),t))ts=5elif lct.tm_min>20: #21-34ts=10elif lct.tm_min>15: #16-20ts=7else: #0-15ts=1print('现在是{0},还没有预售消息,t={1}'.format(time.asctime(),t))time.sleep(60*ts) #sleep一段时间继续爬页面except:#输出错误信息traceback.print_exc()time.sleep(ts) t+=1#murl='https://maoyan.com/cinemas?movieId=248172&brandId=-1&areaId=688&districtId=17'#monitorZhongguanc(murl,t=1,ts=1)murl='https://maoyan.com/cinema/197?poi=279439&movieId=248172'monitorMeijia(murl,t=0,ts=1) #对特定电影院进行监测

e5f918e36446b48f03430da4fc39d7f2.png 对特定电影院的预售监测

于是可以比对这些movieid里面是否有目标电影ID,示例代码如 mid=m.attrib.get('data-movieid',0);ifmid=='248172':sendMsg()。 以上代码还有一个改动是对时间进行了一个,对整点的时候重点关注,例如重点关注每个小时的55分到59分和1分到15分这段时间,其余时间去爬网页的频率小些。用到了 time.localtime().tm_min。欢迎交流

以上代码更新于github:QLWeilcf-moviePresaleMonitor。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有