python 利用爬虫监控百度免费试用网页是否有使用机会

每三分钟爬一次,试了半月,一个邮件都没有,百度的产品,你懂得。代码测试是没有问题的

import requests

import json

import logging

import re

import datetime

import time

import smtplib

from email.mime.text import MIMEText

import random

#URL=‘http://120.25.146.222:8002/‘

URL =‘http://bce.baidu.com/event/worldConference_event.html?qq-pf-to=pcqq.group‘

KEY = ‘抢光了‘

mail_host = "smtp.exmail.qq.com"

mail_user = "*******"

mail_pwd = "******"

to_list = ["*******","******"]

mail_postfix = ‘内裤穿四年‘

subject = "%s 网页已经准备好" % datetime.datetime.now().strftime("%Y-%m-%d")

content = "网站 {0} 已经不含:{1},请速度去抢机会".format(URL,KEY)

log_path="/root/my_app/imon.log"

imon_time = random.randint(30,60)

def log_init(level=logging.DEBUG,

format=‘%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s‘,

datefmt=‘%a, %d %b %Y %H:%M:%S‘,

filename=log_path,

filemode=‘w‘):

logging.info(‘This is info message‘)

logging.warning(‘This is warning message‘)

def send_mail(to_list,subject,content):

me="hello"+"<"+mail_user+"@"+mail_postfix+">"

msg = MIMEText(content,_subtype=‘plain‘,_charset=‘utf-8‘)

msg[‘Subject‘] = subject

msg[‘From‘] = me

msg[‘To‘] = ";".join(to_list)

try:

server = smtplib.SMTP()

server.connect(mail_host)

server.login(mail_user,mail_pwd)

server.sendmail(me, to_list, msg.as_string())

server.close()

return True

except Exception as e:

print(str(e))

return False

def tag(url,key):

i=1

while 1:

try:

r = requests.get(url)

cont =r._content.decode(‘utf-8‘)

except Exception as e:

logging.error(str(e))

print(e)

m = re.search(key,cont)

print(‘第{0}次监控‘.format(i))

if not m:

try:

print(‘可以抢了,已经将发送邮件‘)

send_mail(to_list,subject,content)

except Exception as e:

logging.error(str(e))

print(e)

time.sleep(120) # 如果发送过邮件等2分支后在发送

else:

print(‘还不能抢‘)

time.sleep(imon_time)

i+=1

if __name__ == ‘__main__‘:

log_init()

tag(URL,KEY)

时间: 2024-12-21 01:41:59

python 利用爬虫监控百度免费试用网页是否有使用机会的相关文章

Python 利用爬虫爬取网页内容 (div节点的疑惑)

最近在写爬虫的时候发现利用beautifulsoup解析网页html 利用解析结果片段为: <td valign="top"><div class="pl2"><a class="" href="https://movie.douban.com/subject/26588308/"> 死侍2 / <span style="font-size:13px;">DP

python 利用爬虫获取页面上下拉框里的所有国家

前段时间,领导说列一下某页面上的所有国家信息,话说这个国家下拉框里的国家有两三百个,是第三方模块导入的,手动从页面拷贝,不切实际,于是想着用爬虫去获取这个国家信息,并保存到文件里. 下面是具体的代码,写的也是比较简单,利用Selenium操作页面,获取下拉国家列表的信息,并保存到文件里 from selenium import webdriver import xlwt driver = webdriver.Chrome('C:\Program Files (x86)\Google\Chrome

Python爬虫——利用爬虫从网页获取视频资源

在某某花网上搜到一个视频,为了将视频下载到本地,我们尝试利用爬虫抓取资源 第一,我们检查网页元素,之后刷新页面 从上述信息中我们找到两个后缀名为.mp4的文件信息,其中第二条的status为206,留意它 点击这条信息,从中我们获取到了这条视频真正的URL 根据视频URL信息,参照之前爬取网页图片的方法,我们成功将视频文件保存至本地 (方法与其大同小异,只需将爬取代码中的URL链接进行更换即可) [传送门:https://www.cnblogs.com/fcbyoung/p/12291235.h

Python爬虫学习之获取网页源码

偶然的机会,在知乎上看到一个有关爬虫的话题<利用爬虫技术能做到哪些很酷很有趣很有用的事情?>,因为强烈的好奇心和觉得会写爬虫是一件高大上的事情,所以就对爬虫产生了兴趣. 关于网络爬虫的定义就不多说了,不知道的请自行点击查看 =>百度百科 网络爬虫,维基百科 网络爬虫 有很多编程语言都可以编写网络爬虫,只不过各有各的优缺点,这里我选择用Python语言编写爬虫,因为Python是一门非常适合用来编写爬虫的语言,用它实现爬虫的代码量相对其他语言要少很多,并且python语言对网络编程这类模块

如何利用Python网络爬虫抓取微信朋友圈的动态(上)

今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌,小编在网上找到了第三方工具,它可以将朋友圈进行导出,之后便可以像我们正常爬虫网页一样进行抓取信息了. [出书啦]就提供了这样一种服务,支持朋友圈导出,并排版生成微信书.本文的主要参考资料来源于这篇博文:https://www.cnblogs.com/sheng-jie/p/7776495.html

如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)

前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py文件.我们需要获取的数据是朋友圈和发布日期,因此在这里定义好日期和动态两个属性,如下图所示. 2.修改实现爬虫逻辑的主文件moment.py,首先要导入模块,尤其是要主要将items.py中的WeixinMomentItem类导入进来,这点要特别小心别被遗漏了.之后修改start_requests方

如何利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例

前几天给大家分享了利用Python网络爬虫抓取微信朋友圈的动态(上)和利用Python网络爬虫爬取微信朋友圈动态--附代码(下),并且对抓取到的数据进行了Python词云和wordart可视化,感兴趣的伙伴可以戳这篇文章:利用Python词云和wordart可视化工具对朋友圈数据进行可视化. 今天我们继续focus on微信,不过这次给大家带来的是利用Python网络爬虫抓取微信好友总数量和微信好友男女性别的分布情况.代码实现蛮简单的,具体的教程如下. 相信大家都知道,直接通过网页抓取微信的数据

Swift轻松入门——基本语法介绍和详细地Demo讲解(利用WebView打开百度、新浪等网页)

本文主要分为两个部分,第一部分介绍Swift的基本语法,第二部分讲解一个利用WebView来打开百度.sina等网页的小demo,如果对swift的语法不感兴趣的同学可以直接跳到第二部分来感受下Swift的魅力-(本文的demo源码已上传至github:https://github.com/iOSGeek0829/XSurfing) 一.Swift常用语法 Swift是Apple去年推出的一门新的语言,基于C和Objective-C,而没有C的一些兼容约束,它采用了安全的编程模式和添加现代的功能

Python爬虫之路——简单网页抓图升级版(增加多线程支持)

转载自我的博客:http://www.mylonly.com/archives/1418.html 经过两个晚上的奋斗,将上一篇文章介绍的爬虫稍微改进了下(Python爬虫之路--简单网页抓图),主要是将获取图片链接任务和下载图片任务用线程分开来处理了,而且这次的爬虫不仅仅可以爬第一页的图片链接的,整个http://desk.zol.com.cn/meinv/下面的图片都会被爬到,而且提供了多种分辨率图片的文件下载,具体设置方法代码注释里面有介绍. 这次的代码仍然有点不足,Ctrl-C无法终止程