爬取12306车次信息

#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
# 2017-10-19

"""
12306 抢票

网页分析
    - 查看网页源码
    - 判断是否通过异步加载或者框架的形式接收并展示数据
    - 数据加密过,然后前端再通过js解密并展示(即js混淆)

urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)>
证书作用:保证数据在传输的过程中不会被篡改或截取
"""

import sys
reload(sys)
sys.setdefaultencoding(‘utf8‘)

import ssl
import json
import urllib2

# 跳过证书验证
ssl._create_default_https_context = ssl._create_unverified_context

headers = {
    ‘Referer‘:‘https://kyfw.12306.cn/otn/leftTicket/init‘,
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36‘
}

def getTrainList():
    url = "https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-10-20&leftTicketDTO.from_station=BJP&leftTicketDTO.to_station=CDW&purpose_codes=ADULT"
    req = urllib2.Request(url)
    req.headers = headers
    html = urllib2.urlopen(req).read()
    res = json.loads(html)
    return res[‘data‘][‘result‘]

if __name__ == ‘__main__‘:
    c = 0
    for i in getTrainList():
        tmp_list = i.split(‘|‘)
        # print "%s\t%s\t%s" % (tmp_list[13],tmp_list[23],tmp_list[3])
        if tmp_list[23] == u‘有‘:
            print "时间:%s 车次:%s 软卧有很多票..." % (tmp_list[13],tmp_list[3])
        elif tmp_list[23] == u‘无‘ or not tmp_list[23]:
            print "时间:%s 车次:%s 软卧无票..." % (tmp_list[13],tmp_list[3])
        elif int(tmp_list[23]) > 0:
            print "时间:%s 车次:%s 软卧有 %s 张票" % (tmp_list[13],tmp_list[3],tmp_list[23])
        else:
            print "时间:%s 车次:%s 软卧无票..." % (tmp_list[13], tmp_list[3])

  

时间: 2024-10-27 12:11:04

爬取12306车次信息的相关文章

python利用selenium+requests+beautifulsoup爬取12306火车票信息

在高速发展的时代.乘车出远门是必不可少的,有些查询信息是要收费的.这里打造免费获取火车票信息 想要爬取12306火车票信息,访问12306官方网站,输入出发地,目的地  ,时间  之后点击确定,这是我们打开谷歌浏览器开发者模式找到   https://kyfw.12306.cn/otn/resources/js/framework/station_name.js    这里包含了所有城市的信息和所有城市的缩写字母.想要获取火车票信息  https://kyfw.12306.cn/otn/left

爬取12306火车票信息

# -*- coding: utf-8 -*-'''获取12306城市名和城市代码的数据文件名: parse_station.py'''import requestsimport reimport json #关闭https证书验证警告requests.packages.urllib3.disable_warnings() def getStation(): # 12306的城市名和城市代码js文件url url = 'https://kyfw.12306.cn/otn/resources/js

[Python学习] 简单爬取CSDN下载资源信息

这是一篇Python爬取CSDN下载资源信息的例子,主要是通过urllib2获取CSDN某个人所有资源的资源URL.资源名称.下载次数.分数等信息:写这篇文章的原因是我想获取自己的资源所有的评论信息,但是由于评论采用JS临时加载,所以这篇文章先简单介绍如何人工分析HTML页面爬取信息. 源代码 # coding=utf-8 import urllib import time import re import os #****************************************

Python爬虫入门 | 爬取豆瓣电影信息

这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬虫的大门啦~好啦,正式开始我们的第二节课<爬取豆瓣电影信息>吧!啦啦哩啦啦,都看黑板~1. 爬虫原理1.1 爬虫基本原理听了那么多的爬虫,到底什么是爬虫?爬虫又是如何工作的呢?我们先从"爬虫原理"说起.爬虫又称为网页蜘蛛,是一种程序或脚本.但重点在于:它能够按照一定的规则,自动

python爬虫实践——爬取京东商品信息

1 ''' 2 爬取京东商品信息: 3 请求url: 4 https://www.jd.com/ 5 提取商品信息: 6 1.商品详情页 7 2.商品名称 8 3.商品价格 9 4.评价人数 10 5.商品商家 11 ''' 12 from selenium import webdriver 13 from selenium.webdriver.common.keys import Keys 14 import time 15 16 17 def get_good(driver): 18 try

足球竞猜网页的信息进行爬取并且对信息分析

说明 一.项目介绍 对于足球竞猜网页的信息进行爬取并且对信息分析 二.部分代码展示 import requests from lxml.html import etree headers = {'Referer': 'http://www.okooo.com/jingcai/', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.10

针对源代码和检查元素不一致的网页爬虫——利用Selenium、PhantomJS、bs4爬取12306的列车途径站信息

整个程序的核心难点在于上次豆瓣爬虫针对的是静态网页,源代码和检查元素内容相同:而在12306的查找搜索过程中,其网页发生变化(出现了查找到的数据),这个过程是动态的,使得我们在审查元素中能一一对应看到的表格数据没有显示在源代码中.这也是这次12306爬虫和上次豆瓣书单爬虫的最大不同点. 查找相关资料,我选择使用Selenium的PhantomJS模拟浏览器爬取源代码,这样获取到的datas包含了我需要的(查找搜索出的)途径站数据. 暂时把整个程序分为了这几个部分:(1)提取列车Code和No信息

python爬虫实战(一)----------爬取京东商品信息

本文章的例子仅用于学习之用,如涉及版权隐私信息,请联系本人删除,谢谢. 最近一直在练习使用python爬取不同网站的信息,最终目的是实现一个分布式的网络爬虫框架,可以灵活适用不同的爬取需求. 项目github地址: https://github.com/happyAnger6/anger6Spider 在学习的过程中遇到不少问题,在这里做一下总结,并分享出来,希望有兴趣的朋友批评指正,共同学习共同进步. 本着实用至上的目的,不准备过多讲实现细节和原理,直接通过项目需求来边实战边学习,因此本系列文

团队-张文然-需求分析-python爬虫分类爬取豆瓣电影信息

首先要明白爬网页实际上就是:找到包含我们需要的信息的网址(URL)列表通过 HTTP 协议把页面下载回来从页面的 HTML 中解析出需要的信息找到更多这个的 URL,回到 2 继续其次还要明白:一个好的列表应该:包含足够多的电影的 URL通过翻页,可以遍历到所有的电影一个按照更新时间排序的列表,可以更快抓到最新更新的电影最后模拟过程知道豆瓣网站不能一次性爬取所有信息,只能分类爬取使用工具pyspider分析完成实现代码,测试模拟运行,按照时间列表爬取每类最新电影资讯 代码分解,便于加入团队后组员