GIS+=地理信息+行业+大数据——基于云环境流处理平台下的实时交通创新型app

应用程序已经是近代的一个最重要的IT创新。应用程序是连接用户和数据之间的桥梁,提供即时訪问信息是最方便且呈现的方式也是easy理解的和令人惬意的。

然而,app开发人员。尤其是后端平台能力,一直在努力跟上用户的期望。记得第一次基于WAP技术的移动互联网的日子吗?过度炒作和预期不匹配的教训。

36大数据专稿,原文作者:Ronnie Beggs,  本文由36大数据翻译组-张小顺翻译向36大数据投稿,并授权36大数据独家公布。不论什么不表明来源于36大数据和译者的转载均为侵权。

在已经收录的app应用程序中交通app已经处于率先地位,帮助游客和乘客计划(或又一次计划)他们的旅行。然而。有多少次你使用一个应用程序依照最短的行车时间和最不拥挤的标准来计划你的路线。但你仍然迟到?这正是。新南威尔士州运输问题(TFNSW),澳大利亚政府机构负责管理的道路和公共交通网络的悉尼和新南威尔士州(NSW)地区。澳大利亚,已经正在与Sqlstream合作处理的问题。

推动创新

这项倡议作为黑客马拉松的实时交通应用程序开发始于2014年底。有50个左右的团队进入。8个最有前途和创新的想法被TFNSW选择并通过赞助在2015年年初推出。前五个应用程序已经启动,有很多其它的尾随。每个側重于旅行体验的不同方面。

能够到rms.nsw.gov.au站点获得可用的应用程序和App Store的下载链接的完整描写叙述。

Snarl 一款面向客户提供接近其旅游路线或位置的最新道路事故信息及网络拥堵信息的工具。

TripGo 一款面向想要获取最快捷旅程、或选择最高效公共交通工具及基于生活和工作日历须要设计智能线路信息客户所提供即时旅程建议的个性化出行管家。

Auto 一款面向常常去一些地方旅行而且希望看到当前旅游时间帮助这些客户计划什么时候出发服务的一款工具。

Plan A 一款面向日程繁忙客户提供最新阻塞信息、建议旅行时间及提醒客户何时出发以确保可以准时达到目的地服务的一款工具。

EasyDrop 一款交互式工具来管理商用送货司机日常的交货时间表及提供最快的路线和最新的交通信息服务的一款工具。

(实时交通应用程序。端到端的旅程时间)

所以假设你在新南威尔士州地区,你正在尝试使用一种提供准确、实时更新的应用程序。如像计划的那样准时到达,你非常可能正在使用TfNSW’s中某一个基于sqlstream流处理、实时数据中心和大数据技术支持的应用程序。

下一代IT实时应用程序体系架构

下一代的web应用程序平台必须扩展到一个高速增长的应用程序社区提供准确、实时的信息,并支持同样的核心平台架构的很多应用程序。传统的web架构提供按需訪问。但仅仅能提供基于数据库存储的历史内容。正如传统的企业数据管理架构,数据流管理平台提供了更大的数据管理应用程序的实时可扩展性。

这并非说,现有的数据仓库是冗余的,远非如此。未来是一个集成的、统一的数据管理体系结构,利用最好的成熟技术的优势。

TfNSW部署的旅行实时数据系统(TTDS,the Travel Time Data System )

主要web体系结构组成部分例如以下:

Data Warehouse(数据仓库)主记录保存在数据仓库。在这样的情况下。SQLServer。是数据挖掘平台,趋势分析和企业报告。SQLServer数据仓库有非常多数据源,包含现有的企业系统。以及业务流量数据和通过实时数据流管理平台的流媒体数据。

Real-time Data Hub for Enterprise Apps(企业应用实时数据中心)实时业务智能平台是基于SQLstream’s SmartCity StreamApp建立的。业务用户通过实时地图为基础的仪表盘和警报获得可操作的见解。分析均来自超过10000辆输入车载GPS和传感器数据流的数据流,并结合数据仓库中的历史趋势数据。

Scalable Web API Platform for Real-time Access(可扩展的web实时訪问接口平台) web应用程序为智能手机应用程序提供了一个REST API接入接口。该接口支持行程时间更新,交通流量、事故信息和人群来源的实时查询。当app訪问量添加时,额外的webserver资源加入到集群中。

Real-time Middleware(实时中间件) 跨应用和分布式server集群的可扩展性须要一个中间件基础架构(Apache Kafka)。

实时交通应用API

应用程序开发者能够訪问基于HTTP 1.1的移动应用程序流API。

该API连接到SQL数据流的实时应用平台,并支持下面HTTP请求。

该API是基于道路网络,交通流和事件。以及计算行程时间而提供服务的。

Config API(配置API):返回API的URI和client的配置值。

Route API(路线API):接受端到端的旅程路线的路径和出发/到达时间。并返回在该道路上的路线行驶的时间和事故。

Progress API(进展API):接受设备的位置,速度和航向,返回在这条道路的旅程时间和当前事故。

Events API(事件API):返回道路网上的全部事故。

第三方开发人员也有机会获得server端API开发自己的内部部署或基于云的流处理应用程序。server端API通过第三方SQLstream Blaze系统提供实时交通数据。

实时旅行时间计算

带有实时更新行程时间规划是交通应用中最流行的一个类别。准确行程时间必须依据在该时间点道路上实际的交通量来计算。这就是大多数设备和web应用失败的原因,单独使用众包的数据和历史趋势信息是不够的。

行程时间数据系统结合车辆GPS数据和应用程序数据包及整个路网实时的交通流量和拥堵警报採用不同的计算方法。

SmartCity StreamApp包含实时交通理流量和拥堵分析仪表盘,是供内部使用,以交互的方式显示整个道路网络及基于地图的仪表盘。

然而,应用程序开发者如今可以提供旅客訪问同样的数据,通过他们的智能手机。以下的样例是基于web版本号的Snarl’s应用程序提供最新的道路事故信息和交通拥堵信息。

路网表示为10米路段的GIS数据库,共同拥有8000万路段为新南威尔士州的网络。

所述的SQLstream平台更新交通流量和拥塞事件的预測过同一时候道路段和实时的每一个新的数据记录。当中对于每一道路段的平均速度计算例如以下。

  1. 端到端的行程时间是通过10米道路段端到端的路由功能函数来计算的。
  2. 车辆的全球定位系统数据是用来计算车辆在过去15分钟内走过的道路段的平均速度。
  3. 假设在过去的15分钟没有车辆走这一段路。那就用28天历史平均水平相比15分钟时间用于这条路。也就是说,周六上午9点的下一个最好的选择将是平均28天的窗体内全部曾经周六的的上午9点/ 15分钟时间内。
  4. 极端情况下,在过去28天没有车辆行驶记录,那就採用限速牌中的速度。

最大或者最小的行程时间的变化是基于方差和上面的计算方法而来的。方差的计算即至少两个车辆的报道已超过不论什么10m道路段。

实时更新被传输到两个运营中心,交通流量和预測警报以彩色编码和地图作为显示。也能够通过移动应用流API向实时智能应用程序提供请求服务。

这些新的应用对通勤者意味着什么呢?

下一代实时交通应用程序为乘客提供准确、可靠的行程时间和其它交通相关信息。

远离依赖历史和人群来源的数据意味着更高的可靠性,准确性和及时

性。然而,实时处理要求也须要改变思维方式。

通过扩展传统的企业数据管理架构来拥抱数据流管理的优点,一个支持应用的实时平台已经交付,规模与数据的增长和应用的吸收,而且有有利于全部相关方。

时间: 2024-08-28 19:52:39

GIS+=地理信息+行业+大数据——基于云环境流处理平台下的实时交通创新型app的相关文章

维信小贷发布“蜂鸟”大数据风控云平台

11月23日,上海首届中国普惠金融创新发展论坛上,维信小贷公司发布了自主研发.专门针对普惠金融及小额信贷领域的“蜂鸟”大数据金融云平台,维信理财集团首席技术官金家芳做了详细介绍和解读.    自2005年联合国与世界银行提出并推行“普惠金融”以来,虽然近几年我国小额贷款.P2P机构在普惠金融领域获得快速发展,然而普遍存在缺乏数据积累.风控技术及风控能力不足的挑战.当前,各类普惠金融服务机构绝大多数仍然采用传统的线下人工审核机制,面对小额.分散.快速的业务特征,难以获取和整合分析客户多维度信息,实

招投标行业大数据是什么?不懂的来!

招投标行业大数据到底是什么?有不明白的童鞋么? ? 当前,互联网快速普及,全球数据呈现爆发增长,对经济发展.国家管理等产生了重大影响.国家领导人曾公开强调实施国家大数据战略,推动大数据技术产业创新发展. 在这里我还是要推荐下我自己建的大数据学习交流裙:805127855, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴.

基于Ubuntu16搭建Hadoop大数据完全分布式环境

[目的]:学习大数据 在此记录搭建大数据的过程. [系统环境] 宿主机操作系统:Win7 64位 虚拟机软件:Vmware workstation 12 虚拟机:Ubuntu 16 64位桌面版 [搭建过程] 一.准备 1.安装文件准备 Hadoop软件: JDK: Ubuntu 16的安装软件 2.虚拟机准备 测试计划使用三台虚拟机 在Win7里启动Vmware workstation,安装一台操作系统为Ubuntu 16的空的虚拟机,从这台虚拟机另外再克隆出来两台 3.机器名称:hadoop

电影娱乐业的变化:大数据和云引发了电影业的变革

我们已经讨论过很多大数据和云计算是如何通过它的敏锐性.灵活性已经竞争中所特有的优势来让其他商业领域发生变化的. 这种改变所带来的益处遍布其他行业,而在这些变革中尤为值得关注的是:娱乐业.在最近的颁奖典礼上,让我们看看科技是如何变革这个行业的--甚至颁奖典礼自身. 娱乐业和大数据 使用大数据来进行研究--被提名者的数量.其他颁奖典礼上的获奖者,来自于博彩网站上的信息--分析师可以在颁奖典礼之前,预测出主要获奖者的名单. 电影制片厂和分销商这样的电影公司正在利用大数据来决定如何更有效地发行一部电影,

大数据-基于Spark的机器学习-智能客户系统项目实战

网盘地址:https://pan.baidu.com/s/19-U_XwIUZUENNgmz6VysMQ 密码: j288 备用地址(腾讯微云):https://share.weiyun.com/90d4d9196a9d86c74aabe8df78cdc624 密码:uq2q3w 项目背景:1.现在很多平台客户关系管理系统都是使用传统的CRM,所有的信息全靠手工录入,用户寻找上下游企业或者信息只能靠手工去查找并且标注. 2.大数据时代的到来,人工智能,云计算,先进的分析,用机器去替代人工的部分,

灵玖软件:NLPIR技术助力行业大数据智能挖掘

大数据时代业已到来,当今世界正处在一个数据爆炸的时代.伴随着多媒体.云计算.物联网.社交网络等技术的发展,以及天文观测.空间地理.金融分析等各领域每天都在产生巨量的数据,这些数据如此庞大,其规模.其涌现速度和其处理难点超出目前常规技术能管理.处理和分析的能力.一般来说,大数据具有量大(Volume).流动性大(Velocity),种类多(Variety),分布式(distributed).非一致(nonuniformity)等特性,这些特点决定了在大数据时代,我们传统的数据处理技术必须有革命性的

《OD大数据实战》环境恢复

一.关机后服务重新启动 1. 启动hadoop服务 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemon.sh start nodemanager sbin/mr-jobhistory-daemon.sh start historyserver sbin/hadoop-daemon.sh

大数据时代,业务运维驱动下的企业变革

从信息化时代起,企业一直在试图发现业务数据中深藏的商业价值,并为此诞生了数据挖掘.商业智能.BPM.BSM等诸多技术,然而互联网时代的到来,专为封闭生产环境而生的信息化系统,已经无法满足企业高速增长的互联网开放业务和随着而来的海量信息的处理需求.互联网+最大的价值在于"连接",企业根据原有生产.经营模式构建起来的IT系统,显然无法满足互联网用户的连接和需求,互联网+转型的难点也正在与此.如何在企业现有IT架构的基础上,快速实现前端互联网用户与后端业务系统的有效连接,构建起全新的.基于大

澜讯 | 大数据赋能金融,宁波银行携数澜打造实时数据平台

近日,宁波银行签约数澜科技,双方将共同打造「实时数据平台」,通过引入实时计算来加工.处理和分析数据,从而高效的挖掘到数据价值. 宁波银行成立于 1997 年,2007 年成为国内首家在深圳证券交易所挂牌上市的城市商业银行(股票代码:002142).目前拥有 12 家分行,327 家营业网点,已经发展成为一家资本净额超 930 亿元,总资产超 10000 亿元,员工人数超 1.5 万人的区域性股份制上市银行,跻身全球前 200 家银行之列. 随着银行业务往线上.移动化集中,诸如反欺诈.事件式客户营