金融大数据

  到底大数据是什么,把这个很神奇的东西拨开以后,它还是很原始的。大家有没有想过,实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友,我的内部会做一个简单判断,我会用眼睛来看,这是图片信息。我会听他的声音,感受声音的声频信息。如果有机会握手,这是一个触摸的信息。通过交流,我能感受到他语言的信息。这些就是大数据中最常见的非结构化信息。我已经在脑子中判断这是一个什么样的人,人脑已经在做非常精密的大数据分析。今天的大数据只是在还原人脑的50%的水平而已,它最大的是大数据量,有它的宽度和深度。这个就是很传统的关于大数据的认识,我们自己就是大数据的分析仪器,而且非常精密。随着我们的成长和经历,对事物的判断也会越来越精密。

  金融大数据将给中国银行带来极大的转变。它将让银行从被动服务客户,转向更加主动的方式。主动地去探索和挖掘,形成营销和分析模型,并直接投入到金融运营当中,使金融大数据真正产生业务价值。这一切正在悄然改变金融运营模式。

  

金融大数据的四步走

金融大数据,目前有四个阶段。第一阶段是基于数据存储;第二阶段是分布式计算;第三阶段是大数据挖掘与分析;第四阶段是数据服务。对于商业银行,包括工商、建设、农业、交通和中行这国有五大行来说,都处于第一阶段。其中,建行处于平台选型阶段。农业银行已经完成数据存储方面的工作,但还未上线。光大银行项目,在2013年10月上线,是国内第一家真正意义上将金融大数据应用到银行核心业务系统的案例。

银行的大数据处理

银行等金融机构,对大数据的处理需求有其特殊性。第一个就是结构化数据存储,第二个是数据挖掘。下面我们将逐一为您解开。

结构化数据存储,商业银行有实时查询数据库,用来处理历史金融数据。受限于传统ROE(Oracel、DB2、Sybase等)数据库的单表数据量瓶颈。银行数据超过一定上限就会影响查询效率。解决瓶颈的方法只能通过提高成本,大量购买高性能硬件和应用软件来解决。虽然银行IT部门预算丰富,但也还是需要平衡性能与成本的关系。

另一方面,银行需要在现有的数据上进行增值挖掘。如果依靠传统DR(Data
Research数据研究),对成本的影响巨大。采用大数据技术、采用分布式集成框架、采用开源框架,一方面满足了成本依赖,另外一方面运算性能方面有所提升。

在业务数据模型方面,商业银行分为两个层面。第一个层面就是面向业务层面,需要选择哪些参数来构成预算的数据模型。这是业务层面上面,这一部分是与以前的模型一致。

另外一部分就是针对数据模型还有什么样的计算方式,需要哪些数据的输入,这方面发生了变化。因为你传统离岸模式是单机的,运算性能始终都是它无法突破的东西。所以说它对数据处理的时候,往往是基于销量数据的,基于出让数据做小批量的数据尝试,然后得出一些规律性的东西,然后再反向推导到其它数据,这是传统的模式。在这个环境里面有了一种突破,可以去用全量数据,构建数据模型的参考体系,这个数据量更大。另外一块性能更高一些,比单机模式要快。

金融大数据安全性

数据安全其实是一个相对的改变。因为在这里面大数据技术与数据安全性能整个要求本身没有直接的关系。怎么说呢?如果不采用大数据技术,安全性是不是一样面临同样的问题呢?对于传统模式,无论你采用什么样的技术,同样面临数据安全性的问题。

所以在这个里面包括各个环节,像存储的安全,传输的安全,展现的安全。这种模式,传统的银行采用的模式里面,不包括物理网站的隔离,包括访问权限的控制,包括软加密这些都是在传统的模式里面适用的。大数据技术,与银行数据安全性没有直接的关系,只不过区别是什么呢?

大数据技术是一个新的技术体系,银行原来需要单机处理的东西,现在需要在多个节点去参与进来,这样带来一个什么样的挑战呢?就是必须保证集群是能够被特定的用户去访问,而且特殊的节点不能够被假冒。如果这个节点正在自动化处理,如果黑客冒充某个节点,要保证不会导致数据的泄露。这种情况下其实是大数据在安全方面特殊的要求点,必须做到物理网站的隔离。只有授权节点能够参与到集群的工作中,这就是访问的安全。

节点数据的传输,这一块目前来讲银行的解决办法还是基于物理网隔离和用户的授权。这里面还是有瓶颈的,节点与节点之间,数据在共享的时候,速度还是瓶颈。这种加密需要去改造现有的大数据框架,目前来讲还没有看到国内银行有解决这个问题的。

总结

金融大数据,目前还处于一个逐步实施的阶段。商业银行中的金融大数据,既包括传统的BI结合,也包括对大数据环境底下数据分析挖掘。相信在2014年,金融大数据在历史数据存储和历史数据仓库存储这两个领域,会有更多落地实施的案例出现。大数据回归之年,就在2014。

时间: 2025-01-02 12:32:17

金融大数据的相关文章

Data.gov.uk电子政务云,牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践

牛津大学NIE金融大数据实验室王宁:数据治理的现状和实践 我是牛津互联网研究院的研究员,是英国开放互联网的一个主要的研究机构和相关政策制订的一个机构.今天主要给大家介绍一下英国数据治理的一些现状和实践.Data.gov.uk就是相当于英国的电子政务云.我不知道大家还记不记得这个画面,这是2012年伦敦奥运会的时候,当时的一幕,一个房子拉开了之后一个人在里面座着打计算机,这个人是一个英国籍也是牛津大学毕业的科学家,也是万维网之父.他当时创造互联网时候当时是一个博士生,他有一个想法就是说能不能有一个

金融大数据时代,金融BI强势来袭——奥威Power-BI

4月8日,“掘金大数据时代”远大愿景的“金融大数据高峰论坛暨可以融资的BI”产品发布会在武汉成功举办.作为国内最早的大数据与商业智能知名厂商奥威软件响应广大号召,与深圳亚洲保理联合主办发起这场金融BI交流盛宴,携手六度人和以及行业大咖围绕移动互联高速发展下大数据时代的技术及应用根本,解决数据分析痛点,更好地挖掘金融大数据时代等议题交流经验想法.吸引了近百家来自五湖四海的为中小企业提供管理信息化服务或金融服务的厂商们齐聚一堂,就企业融资发展和深化信息管理等热门话题做主题分享,聚焦运用保理工具助力中

金融大数据调研

大数据特点:海量.快速.价值.数据多样化,同样适用于金融大数据. 大数据金融特征与趋势 http://wiki.mbalib.com/wiki/大数据金融 大数据在银行业应用驱动分析 http://www.iteye.com/topic/1142295 大数据在银行业的案例分析 http://www.linguo.cn/news/html/402.html http://www.gbase.cn/products_detail/&productId=97.html Hadoop 平台在金融银行业

聚焦智能驾驶与金融大数据,2017吉林松花湖论坛8月召开

随着大数据.云计算.人工智能时代的到来,对各行各业提出了全新的挑战.金融业作为世界上数据最为密集的行业之一,正全面走向大数据时代.智能驾驶被广泛认为是汽车行业的下一场大革命.目前,包括全球主流汽车厂商.科技巨头及出行领域的新锐初创企业,都加入了研究智能驾驶技术的行列. 在此背景下,由国家"千人计划"指定杂志<千人>联合吉林高新技术产业开发区.千人智库共同发起的"2017中国·吉林松花湖论坛--智能驾驶与金融大数据峰会"将于2017年8月17-19日在吉林

浅谈金融大数据

金融大数据的行业影响金融大数据在金融行业的应用能有效的帮助金融行业实现信息化转型,使得金融行业整体更为高效. 金融大数据的行业影响 金融大数据在金融行业的应用能有效的帮助金融行业实现信息化转型,使得金融行业整体更为高效. 金融大数据的帮助下,金融信息将会以更多的方式呈现.借助大数据可视化技术,结构化和非结构化数据可以从大量的金融信息之中提取出最有用的数据,并且用最合适的方式呈现,让用户可以从更多的角度和价值模型之中获益,帮助用于金融研究以及决策.金融大数据可视化还可以提供经济分析.管理分析以及绩

京东金融大数据竞赛猪脸识别(1)-从视频提取图像

2017年11月的京东金融大数据竞赛参与人数最多的是猪脸识别的算法比赛,参加整个大数据比赛的有四千多人,而猪脸识别算法组就有一千多人.可见,搞图像识别的的人很多啊.想要提升自己价值的小伙伴们,向语音.文本.机器人等领域进发吧,有了机器学习的基础,入门这些领域应该都不是太难.比赛给的数据是30头猪的视频,做识别的第一步还是从视频中去图像吧.本想用以前写过的视频取帧程序.看Matlab示例的时候发现用Matlab取帧更简便易行,那就用它吧.这样又省了很多时间.代码如下: %exam1.m extra

京东金融大数据竞赛猪脸识别(7)- 识别方法之四

除了softmax层构建的深度网络,Matlab还有一个简单的构建数据分类的函数,那就是patternnet,其用法类似.可以直接对图像特征数据处理,也可以对图像集处理.代码如下: %exam1.m 用训练图像特征构建深度网络并计算测试图像得分 clear; load('JDPig_mlhmslbp_spyr.mat'); m = numel(classe_name); n = length(y); label = [] for i=1:n label(:,i) = zeros(m,1); la

Tushare金融大数据开放社区发布

Tushare金融大数据开放社区发布 原创: 米哥 挖地兔  昨天 一段开场 很多用户经常提醒,已经很久没有更新公众号了!也有些热心的朋友私底下问,是不是碰到啥困难了?还有些好心的用户说,如果缺钱说一声!也有些朋友"赤裸的指责"再不更新,我们就取关了. 还是有些惶恐的,谢谢大家的宽容. 承认,在公众号这事上确实懒了一些,尤其是很久不更新后,要重新找回心情好像还挺难.以前是每次从北京开往上海的高铁上完成一篇,从上车开始构想.找素材.写demo.码字.编辑一气呵成.也想找回那种状态,甚至为

Excel催化剂开源第42波-与金融大数据TuShare对接实现零门槛零代码获取数据

在金融大数据功能中,使用了TuShare的数据接口,其所有接口都采用WebAPI的方式提供,本来还在纠结着应该搬那些数据接口给用户使用,后来发现,所有数据接口都有其通用性,结合Excel灵活友好的输入方式,将其输入参数统一在Excel界面进行维护,最终实现了所有接口均可由用户自己去维护参数的方式发出查询获得所有的结果,非常完美. 此篇对应的Excel催化剂功能实现:第98波-零代码零距离轻松接触并拥有金融大数据 - 简书 https://www.jianshu.com/p/3cd41a48344