5行代码实现1秒内获取一次所有股票的实时分笔数据

5行代码实现1秒内获取一次所有股票的实时分笔数据

前两篇文章分别简单介绍了tushare这个财经数据接口包的使用,用起来很简单顺手,一两句代码就可以获取到你想的要的数据,但是有在群里经常看到说获取数据经常挂,延迟很严重等等,其实那是因为使用者没有好好去领悟和了解工具。片面两篇文章已经对tushare如何获取股票的历史数据和实时数据有过简单的介绍,没看过的朋友可以到微信公众号【数据之佳】点击往期文章就可以查看。

上两篇文章只是向大家介绍了tushare这个工具,相信有不少对量化投资感兴趣,却不知道如何获取数据的朋友已经尝试过使用他来获取数据,但遗憾的是,如果不注意使用的技巧,你获取数据的脚本即使不经常挂,得到的数据质量也不高,尤其是实时分笔数据,上一篇文章展示的代码,获取一次所有股票的实时数据整整花了20秒的时间,遇到这种情况,可能很多人会想,是不是我的网速的问题,或者是数据服务器限制访问的频次导致的?所以只能退而求其次,自我安慰,有总比没有好。

其实不然,我们使用tushare来获取数据,器数据也是通过爬虫从各个数据服务器爬下来的,那么在代码访问数据的过程中,每一次访问都需要经过验证,就好像你需要从仓库中取一万个零件,你每一次只取一个,而仓库管理员必须遵守规定,每一次取物品都需要验证人的身份,做记录等等一系列繁杂的手续,很可能你验证身份所花的时间比你取物品的时间还要多得多,然而如果你有一辆卡车,一次可以运走一千个零件,那么你每次验证身份,就可以取走一千件,这样身份验证所花的时间比一件一件的取要少一千倍。

这么一说其实道理是很简单的,关键在于你会不会这样去想,向服务器获取数据也一样,每次访问服务器,都需要发送请求,验证等等,这些都是无用的时间开销,如果我们能一次性获取多条数据,就可以大大节省时间开销,恰好tushare获取实时数据的接口函数提供了这样的功能,一次性可以获取多只股票的数据,但不能太多,tushare网页文档说的是最好每次不要获取超过30只股票的数据,但经过我验证,每次最多可以获取880只股票的实时数据,现在深市沪市一共有3400多只股票,我们只需要获取4次就够了,下面提供一下源代码,核心代码的确只有5行,为了验证是否获取一次数据的时间间隔,我把获取数据之前,以及之后的时间都打印出来了。

import tushare as ts
import pandas as pd
import datetime
f=open(‘F:\get_stocks\get_data\stocks.txt‘)
time1=datetime.datetime.now()
stocks=[line.strip() for line in f.readlines()]
data1=ts.get_realtime_quotes(stocks[0:880])
data2=ts.get_realtime_quotes(stocks[880:1760])
data3=ts.get_realtime_quotes(stocks[1760:2640])
data4=ts.get_realtime_quotes(stocks[2640:-1])
time2=datetime.datetime.now()
print(‘开始时间:‘+str(time1))
print(‘结束时间:‘+str(time2))
print(data1)
print(data2)
print(data3)
print(data4)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

开始时间:2017-12-04 21:42:27.184003
结束时间:2017-12-04 21:42:27.696398
  • 1
  • 2
  • 3

可以看到,获取数据前后的时间差,只有0.5秒多一些,准确的说,这一次实验只用了0.5123秒,当然在这里只是抛砖引玉,帮助大家打开思路,在这里还得感谢tushare的开发者,让我们可以很方便的就获取到一些很有价值的金融数据。虽然他不是万能的,但是却能使我们把更多的时间花在自己的模型上面。 
在这里数据就不贴了,感兴趣的朋友自己动手实验一下,我的电脑配置很一般,网速也算不上很好,不用担心你的网速,这个速度你一样可以达到

如果想要把这个思路用在自己的服务器上面,用来获取一整天的实时数据,建议读者使用调度工具,最简单的是linux下面的crontab,它只支持最小单位分钟的调度,但稍加运用,也可以用来调度我们获取实时数据的程序。

好了今天就到这里,想要获得更多优质的文章或数据请关注微信公众号 
【数据之佳】,我们将不定期在上面分享我们学习和运用数据分析、机器学习、量化分析的一些思路,模型和结果,下面是微信公众号的二维码,如果你想尝试上面的代码,但是没有现成的股票代码,关注微信公众号【数据之佳】,回复【python量化】就可以得到下载链接 

原文地址:https://www.cnblogs.com/timdes1/p/8231490.html

时间: 2024-08-30 10:10:03

5行代码实现1秒内获取一次所有股票的实时分笔数据的相关文章

使用tushare获取股票实时分笔数据延时有多大

使用tushare获取股票实时分笔数据延时有多大 前几天分享了一段获取所有股票实时数据的代码,有用户积极留言,提出一个非常棒的问题:如果数据本生的延时非常严重,通过代码获取数据再快又有什么用呢? 一直以来我也只是直观感觉延时并不是很长,但没有做过详细的统计,今天统计一下通过上一篇文章分享的方法获取的实时数据,究竟延时有多大. 今天实验用的数据是今天(2017-12-12)使用服务器脚本获取的实时数据的一部分,一共筛选了268只股票,数据只是这一天中的一部分数据,由于开盘了以后才修改的脚本,数据大

5行代码获取小程序用户的手机号

最近有很多同学有获取小程序用户手机号的需求.其实云开发出现之前我们获取小程序用户的手机号特别繁琐.自从有了云开发,我们获取用户手机号变得非常简单.只需要5行代码即可. 老规矩,我们先来看下效果图 再来看下核心的代码,其实只有下面这一些.甚至可以说核心代码只有上图红色框里的两行.是的,你没听错,只靠这2行代码,就可以轻松的获取用户小程序绑定的手机号.下面我们就来具体讲解吧. 注意:只有企业小程序才可以获取用户手机号,个人小程序没有办法获取的. 一,首先要用到button组件的开发能力 编写wxml

Jquery插件 防刷新倒计时 “点击获取验证码后60秒内禁止重新获取

Jquery插件实现"点击获取验证码后60秒内禁止重新获取(防刷新)" 效果图: 先到官网(http://plugins.jQuery.com/cookie/)下载cookie插件,放到相应文件夹,代码如下: 1 <style type="text/css"> 2 * {margin: 0; 3 padding: 0; 4 font-family: "Microsoft Yahei"; 5 } 6 .captcha-box { 7 w

求开4个线程4秒内执行完以下程序;部分代码已标注不能修改(多线程)

求开4个线程4秒内执行完以下程序:部分代码已标注不能修改 1 public class LogTest { 2 // 里面的方法不能动 3 public static void parseLog(String log) { 4 System.out.println(log + ":" + (System.currentTimeMillis() / 1000)); 5 try { 6 Thread.sleep(1000); 7 } catch (Exception e) { 8 e.pr

JavaScript12行代码获取相关节点

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title></title> </head> <body> <div id="dv"> <span>这是div中的第一个span标签</span> <p>这是div中的第二个元素

只用3行代码,让Python提速4倍!最强辅助

Python是一门非常适合处理数据和自动化完成重复性工作的编程语言.我们在用数据训练机器学习模型之前,通常都需要对数据进行预处理,而Python就非常适合完成这项工作,比如需要重新调整几十万张图像的尺寸,用Python没问题!你几乎总是能找到一款可以轻松完成数据处理工作的Python库. 虽然Python易于学习,使用方便,但它并非运行速度最快的语言.默认情况下,Python程序使用一个CPU以单个进程运行.如果你是在最近几年配置的电脑,通常都是四核处理器,也就是有4个CPU.这就意味着在你苦苦

iOS开发——实用技术OC篇&amp;8行代码教你搞定导航控制器全屏滑动返回效果

8行代码教你搞定导航控制器全屏滑动返回效果 前言 此次文章,讲述的是导航控制器全屏滑动返回效果,而且代码量非常少,10行内搞定. 效果如图: 如果喜欢我的文章,可以关注我,也可以来小码哥,了解下我们的iOS培训课程.陆续还会有更新ing.... 一.自定义导航控制器 目的:以后需要使用全屏滑动返回功能,就使用自己定义的导航控制器. 二.分析导航控制器侧滑功能 效果:导航控制器默认自带了侧滑功能,当用户在界面的左边滑动的时候,就会有侧滑功能. 系统自带的侧滑效果: 分析: 1.导航控制器的view

JavaScript模板引擎原理,几行代码的事儿

JavaScript模板引擎原理,几行代码的事儿 什么是模板引擎,说的简单点,就是一个字符串中有几个变量待定.比如: var tpl = 'Hei, my name is <%name%>, and I\'m <%age%> years old.'; 通过模板引擎函数把数据塞进去, var data = { "name": "Barret Lee", "age": "20" }; var result

反-反爬虫:用几行代码写出和人类一样的动态爬虫

欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:李大伟 Phantomjs简介 什么是Phantomjs Phantomjs官网介绍是:不需要浏览器的完整web协议栈(Full web stack No browser required),也就是常说的无头浏览器--或者好听点叫做:无界面的web解析器. Phantomjs的特点 由于"无头"--免去了渲染可视化的网页界面,她的速度要比一般的浏览器快不少,又因为她是完整的web协议栈,所以不仅仅提供了JavaScri