中科大EPC课程爬取-带步骤

原文取自 木华生的帖子
https://blog.csdn.net/qq_28491207/article/details/84261732

以前看了上文的帖子,感觉对自己有用,分享一下。
在这里我就细说一下步骤,给大家提供较完整的教程:本文对源代码进行了删减,源代码功能更多,感兴趣可以回去研读一下

功能:
定时爬取课程,若有课程给自己发送邮件,用微信或者QQ邮箱给自己提醒

  • 第一步:首先你要安装python IDE

    本文采用python3.7.0下载地址如下
    链接:https://pan.baidu.com/s/1liQ4Z32kXo6secQpMYQw_w
    提取码:2qn3

    步骤:
    1.解压
    2.以管理员身份运行python3.7.0- amd64
    3.注意勾选Add python 3.7 to path,点击Customize installation
    4.点击next
    5.自己选择安装目录
    6.结束后关闭安装程序,在开始菜单栏里找到IDLE python

  • 第二步:拷贝相应代码并更改相应数据

1.打开IDLE

2.点击新建窗口File-New File,将以下代码复制进去

import requests, smtplib, email, time
from bs4 import BeautifulSoup as bs  # 使用 BeautifulSoup库对页面进行解析
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.mime.image import MIMEImage
from email.header import Header

MAX = 18  # 作为周数的约束条件,最大值为21
INI = 125  # 作为访问失败的无效值,随意定的
session = requests.Session()

# 登录EPC
url_login = ‘http://epc.ustc.edu.cn/n_left.asp‘
data = {
    ‘submit_type‘: ‘user_login‘,
    ‘name‘: ‘**********‘,
    ‘pass‘: ‘**********‘,
    ‘user_type‘: ‘2‘,
    ‘Submit‘: ‘LOG IN‘
}
resp = session.post(url=url_login, data=data)

# 解析页面,返回列表:[week,星期,教师,学时,上课时间,教室]
def getInfo(url):
    resp = session.get(url)
    resp.encoding = resp.apparent_encoding
    # print(resp.text)
    soup = bs(resp.text, ‘html.parser‘)
    tds = soup.select(‘td[align="center"]‘)
    return [int(tds[14].string[1:3]), tds[15].string, ] + [string for string in tds[18].strings]
    # tds[0] #只显示可预约
    # tds[1] #预约单元
    # tds[2] #周数
    # tds[3] #星期几
    # tds[4] #教师
    # tds[5] #学时
    # tds[6] #上课时间
    # tds[7] #教室……
    # tds[14] #第多少周
    # tds[15].string #星期
    # tds[16].string #教师
    # [x for x in tds[18].strings] #时间

def getEPC():
    # 返回数据:字典
    # key:name or INI
    # value:[week,星期,教师,学时,上课时间,教室] or [INI]
    try:
       url1 = ‘http://epc.ustc.edu.cn/m_practice.asp?second_id=2001‘  # Situational dialogue
       url2 = ‘http://epc.ustc.edu.cn/m_practice.asp?second_id=2002‘  # Topical discussion
       url3 = ‘http://epc.ustc.edu.cn/m_practice.asp?second_id=2003‘  # Debate
       url4 = ‘http://epc.ustc.edu.cn/m_practice.asp?second_id=2004‘  # Drama
       url7 = ‘http://epc.ustc.edu.cn/m_practice.asp?second_id=2007‘  # Pronunciation Practice

       info = {}
       info[‘Situational Dialogue‘] = getInfo(url1)
       info[‘Topical Discussion‘] = getInfo(url2)
       info[‘Topical Discussion‘] = getInfo(url2)
       info[‘Debate‘] = getInfo(url3)
       info[‘Pronunciation Practice‘] = getInfo(url7)
       return info
    except:
       return {INI: [INI]}

# 邮箱发送
def Send_mail(text):
    msg_from = ‘[email protected]‘  # 发送方邮箱
    passwd = ‘************‘  # 填入发送方邮箱的授权码
    msg_to = ‘[email protected]‘  # 收件人邮箱

    subject = "课程爬取"  # 主题
    msg = MIMEText(text)
    msg[‘Subject‘] = subject
    msg[‘From‘] = msg_from
    msg[‘To‘] = msg_to
    try:
        s = smtplib.SMTP_SSL("smtp.qq.com", 465)
        s.login(msg_from, passwd)
        s.sendmail(msg_from, msg_to, msg.as_string())
        print(‘succeed‘)
    except:
        print("发送失败")
    finally:
        s.quit()

# 主程序
while 1:
    status = True
    info = getEPC()
    print(time.ctime(), ‘:‘)
    for key, value in info.items():
        print(‘{}:{}‘.format(key, value))
    print(‘\n‘)
    for value in info.values():
        if value[0] < MAX:
            text = ‘There is a course of {} in week{},{},{},{}‘.format(key, value[0], value[1], value[2], value[3],end=‘\n\n‘)
            print(text)
            Send_mail(text)
    time.sleep(60)  # 这里修改刷新频率

**

  • 第三步:修改参数:

**
1.MAX = 18改成你想要的周数
2.data中红色部分为自己账号密码:

3.图片处加#号为不想要的课程,例如:只想选debate,把别的url都加上#,记得要对称的加

4.以下四个与邮箱相关的地方地方更改

这里授权码可以百度一下(非qq密码),qq邮箱授权码获取如下:

https://service.mail.qq.com/cgi-bin/help?subtype=1&&no=1001256&&id=28

5.最后一行刷新频率根据自己需要改:

    time.sleep(60)  # 这里修改刷新频率

**

  • 第四步:运行脚本点击Run-Run model

**

**

  • 其他事项:

**
有的同学运行是发现如下提示,因为没有安装相应的requests库函数,

解决步骤:
1.在win10下输入框内输入cmd并运行

2.安装requests库,输入如下代码,回车:
pip install requests

注释:(若bs4库没安装,与之类似,输入 pip install bs4)

部分同学遇到如下情况,只需将匡内部分复制到命令框运行即可,重复上一步(无此现象忽略)

第四部:将QQ邮箱与微信绑定,关注公众号或者下载QQ邮箱即可

原文地址:https://www.cnblogs.com/yhstcxx/p/10865387.html

时间: 2024-11-06 09:26:44

中科大EPC课程爬取-带步骤的相关文章

爬虫案例—中基协数据爬取

因为工作原因,需要爬取相关网站的数据,包括中基协网站和天眼查部分数据. 一.中基协网站 爬取思路: 1.查看目标页:http://gs.amac.org.cn/amac-infodisc/api/pof/manager?rand=0.9775162173180119&page=%s&size=50 发现有随机数字串(刷新反爬措施),以及页码和每页信息条数,可以用来拼接爬取url 用一个循环爬取所有展示页面,用到requests库以及random函数生成随机数 返回的是json数据,直接用r

python框架Scrapy中crawlSpider的使用——爬取内容写进MySQL

一.先在MySQL中创建test数据库,和相应的site数据表 二.创建Scrapy工程 #scrapy startproject 工程名 scrapy startproject demo4 三.进入工程目录,根据爬虫模板生成爬虫文件 #scrapy genspider -l # 查看可用模板 #scrapy genspider -t 模板名 爬虫文件名 允许的域名 scrapy genspider -t crawl test sohu.com 四.设置IP池或用户代理(middlewares.

scrapy中使用代理IP爬取数据时遇到IP失效时自动切换的方法

当使用临时的IP请求数据时,由于这些IP的过期时间极短,通常在1分钟~5分钟左右,这时scrapy就会报发以下错误 2020-01-17 17:00:48 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https://xxxx/co s): Connection was refused by other side: 10061: 由于目标计算机积极拒绝,无法连接.. 这时如何自动切换IP,然后重新请求呢? 先看看scrapy的

爬取futurelearn课程网上的课程信息

前言 上一篇博客因为写的比较急,个人原因,导致很多地方不完善,具体功能也没有进行说明,这一篇 算是对上一篇的完善,以及对静态网页爬取的一个总结. 要求,计划 爬取futurelearn课程网中subjects类别中science-engineering-and-maths-courses课程中全部课程, 其中,每个课程需要爬取'课程名', '课程性质与阶段学习', '介绍', '话题', '开始时间', '服务对象', '老师', '课程创作人'等具体内容 初始URL:https://www.f

教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

欢迎加入Python学习交流群:535993938  禁止闲聊 ! 名额有限 ! 非喜勿进 ! 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于

【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神

原文:教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神 本博文将带领你从入门到精通爬虫框架Scrapy,最终具备爬取任何网页的数据的能力.本文以校花网为例进行爬取,校花网:http://www.xiaohuar.com/,让你体验爬取校花的成就感. Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. Scrapy吸引人的地方在于它是一个框架,任何人都可

Scrapy爬取全站数据并存储到数据库和文件中

scrapy五大核心组件简介 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址 下载器(Downloader) 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的) 爬虫(Spiders) 爬虫

scrapy-redis实现爬虫分布式爬取分析与实现

一 scrapy-redis实现分布式爬取分析 所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端.这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository(链接:)已经做了翻译(README.rst). 在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心.归结起来就是:所有爬虫获取到的url(request)都放到一个redis queue中,并且所有爬虫都从单个r

python网络爬虫学习(六)利用Pyspider+Phantomjs爬取淘宝模特图片

本篇博文在编写时参考了http://cuiqingcai.com/2652.html,向作者表示感谢 一.新的问题与工具 平时在淘宝上剁手的时候,总是会看到各种各样的模特.由于自己就读于一所男女比例三比一的工科院校--写代码之余看看美女也是极好的放松方式.但一张一张点右键–另存为又显得太过麻烦而且不切实际,毕竟图片太多了.于是,我开始考虑用万能的python来解决问题. 我们先看看淘女郎页面的URL,https://mm.taobao.com/json/request_top_list.htm?