爬取12306火车票信息

# -*- coding: utf-8 -*-
‘‘‘
获取12306城市名和城市代码的数据
文件名: parse_station.py
‘‘‘
import requests
import re
import json

#关闭https证书验证警告
requests.packages.urllib3.disable_warnings()

def getStation():
# 12306的城市名和城市代码js文件url
url = ‘https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.9018‘
r = requests.get(url,verify=False)
pattern = u‘([\u4e00-\u9fa5]+)\|([A-Z]+)‘
result = re.findall(pattern,r.text)
station = dict(result)#{‘北京北‘: ‘VAP‘, ‘北京东‘: ‘BOP‘, ‘北京‘: ‘BJP‘,
#print(station)
return station

‘‘‘
查询两站之间的火车票信息
输入参数: <date> <from> <to>
12306 api:
‘https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=2017-07-18&leftTicketDTO.from_station=NJH&leftTicketDTO.to_station=SZH&purpose_codes=ADULT‘
‘‘‘

#生成查询的url
def get_query_url(text):
# 城市名代码查询字典
# key:城市名 value:城市代码

try:
date = ‘2018-06-01‘
from_station_name = ‘上海‘
to_station_name = ‘北京‘
from_station = text[from_station_name]
to_station = text[to_station_name]
except:
date, from_station, to_station = ‘--‘, ‘--‘, ‘--‘
# 将城市名转换为城市代码

# api url 构造
url = (
‘https://kyfw.12306.cn/otn/leftTicket/query?‘
‘leftTicketDTO.train_date={}&‘
‘leftTicketDTO.from_station={}&‘
‘leftTicketDTO.to_station={}&‘
‘purpose_codes=ADULT‘
).format(date, from_station, to_station)
print(url)

return url

#获取信息
def query_train_info(url,text):
‘‘‘
查询火车票信息:
返回 信息查询列表
‘‘‘

info_list = []
try:
r = requests.get(url, verify=False)

# 获取返回的json数据里的data字段的result结果
raw_trains = r.json()[‘data‘][‘result‘]

for raw_train in raw_trains:
# 循环遍历每辆列车的信息
data_list = raw_train.split(‘|‘)

# 车次号码
train_no = data_list[3]
# 出发站
from_station_code = data_list[6]
from_station_name = text[‘上海‘]
# 终点站
to_station_code = data_list[7]
to_station_name = text[‘北京‘]
# 出发时间
start_time = data_list[8]
# 到达时间
arrive_time = data_list[9]
# 总耗时
time_fucked_up = data_list[10]
# 一等座
first_class_seat = data_list[31] or ‘--‘
# 二等座
second_class_seat = data_list[30]or ‘--‘
# 软卧
soft_sleep = data_list[23]or ‘--‘
# 硬卧
hard_sleep = data_list[28]or ‘--‘
# 硬座
hard_seat = data_list[29]or ‘--‘
# 无座
no_seat = data_list[26]or ‘--‘

# 打印查询结果
info = (‘车次:{}\n出发站:{}\n目的地:{}\n出发时间:{}\n到达时间:{}\n消耗时间:{}\n座位情况:\n 一等座:「{}」 \n二等座:「{}」\n软卧:「{}」\n硬卧:「{}」\n硬座:「{}」\n无座:「{}」\n\n‘.format(
train_no, from_station_name, to_station_name, start_time, arrive_time, time_fucked_up, first_class_seat,
second_class_seat, soft_sleep, hard_sleep, hard_seat, no_seat))

print(info)
info_list.append(info)

return info_list
except:
return ‘ 输出信息有误,请重新输入‘

text=getStation();
url=get_query_url(text)

query_train_info(url,text)

原文地址:https://www.cnblogs.com/shiguanggege/p/12158576.html

时间: 2024-10-09 21:05:00

爬取12306火车票信息的相关文章

python利用selenium+requests+beautifulsoup爬取12306火车票信息

在高速发展的时代.乘车出远门是必不可少的,有些查询信息是要收费的.这里打造免费获取火车票信息 想要爬取12306火车票信息,访问12306官方网站,输入出发地,目的地  ,时间  之后点击确定,这是我们打开谷歌浏览器开发者模式找到   https://kyfw.12306.cn/otn/resources/js/framework/station_name.js    这里包含了所有城市的信息和所有城市的缩写字母.想要获取火车票信息  https://kyfw.12306.cn/otn/left

爬取12306车次信息

#!/usr/bin/python2.7 # -*- coding:utf-8 -*- # 2017-10-19 """ 12306 抢票 网页分析 - 查看网页源码 - 判断是否通过异步加载或者框架的形式接收并展示数据 - 数据加密过,然后前端再通过js解密并展示(即js混淆) urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ss

[Python学习] 简单爬取CSDN下载资源信息

这是一篇Python爬取CSDN下载资源信息的例子,主要是通过urllib2获取CSDN某个人所有资源的资源URL.资源名称.下载次数.分数等信息:写这篇文章的原因是我想获取自己的资源所有的评论信息,但是由于评论采用JS临时加载,所以这篇文章先简单介绍如何人工分析HTML页面爬取信息. 源代码 # coding=utf-8 import urllib import time import re import os #****************************************

Python爬虫入门 | 爬取豆瓣电影信息

这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬虫的大门啦~好啦,正式开始我们的第二节课<爬取豆瓣电影信息>吧!啦啦哩啦啦,都看黑板~1. 爬虫原理1.1 爬虫基本原理听了那么多的爬虫,到底什么是爬虫?爬虫又是如何工作的呢?我们先从"爬虫原理"说起.爬虫又称为网页蜘蛛,是一种程序或脚本.但重点在于:它能够按照一定的规则,自动

python爬虫实践——爬取京东商品信息

1 ''' 2 爬取京东商品信息: 3 请求url: 4 https://www.jd.com/ 5 提取商品信息: 6 1.商品详情页 7 2.商品名称 8 3.商品价格 9 4.评价人数 10 5.商品商家 11 ''' 12 from selenium import webdriver 13 from selenium.webdriver.common.keys import Keys 14 import time 15 16 17 def get_good(driver): 18 try

足球竞猜网页的信息进行爬取并且对信息分析

说明 一.项目介绍 对于足球竞猜网页的信息进行爬取并且对信息分析 二.部分代码展示 import requests from lxml.html import etree headers = {'Referer': 'http://www.okooo.com/jingcai/', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.10

针对源代码和检查元素不一致的网页爬虫——利用Selenium、PhantomJS、bs4爬取12306的列车途径站信息

整个程序的核心难点在于上次豆瓣爬虫针对的是静态网页,源代码和检查元素内容相同:而在12306的查找搜索过程中,其网页发生变化(出现了查找到的数据),这个过程是动态的,使得我们在审查元素中能一一对应看到的表格数据没有显示在源代码中.这也是这次12306爬虫和上次豆瓣书单爬虫的最大不同点. 查找相关资料,我选择使用Selenium的PhantomJS模拟浏览器爬取源代码,这样获取到的datas包含了我需要的(查找搜索出的)途径站数据. 暂时把整个程序分为了这几个部分:(1)提取列车Code和No信息

python爬虫实战(一)----------爬取京东商品信息

本文章的例子仅用于学习之用,如涉及版权隐私信息,请联系本人删除,谢谢. 最近一直在练习使用python爬取不同网站的信息,最终目的是实现一个分布式的网络爬虫框架,可以灵活适用不同的爬取需求. 项目github地址: https://github.com/happyAnger6/anger6Spider 在学习的过程中遇到不少问题,在这里做一下总结,并分享出来,希望有兴趣的朋友批评指正,共同学习共同进步. 本着实用至上的目的,不准备过多讲实现细节和原理,直接通过项目需求来边实战边学习,因此本系列文

团队-张文然-需求分析-python爬虫分类爬取豆瓣电影信息

首先要明白爬网页实际上就是:找到包含我们需要的信息的网址(URL)列表通过 HTTP 协议把页面下载回来从页面的 HTML 中解析出需要的信息找到更多这个的 URL,回到 2 继续其次还要明白:一个好的列表应该:包含足够多的电影的 URL通过翻页,可以遍历到所有的电影一个按照更新时间排序的列表,可以更快抓到最新更新的电影最后模拟过程知道豆瓣网站不能一次性爬取所有信息,只能分类爬取使用工具pyspider分析完成实现代码,测试模拟运行,按照时间列表爬取每类最新电影资讯 代码分解,便于加入团队后组员