互联网金融代表一种海量数据高事务高速处理

我们知道分布式系统是一种横向水平伸缩(Scalable)方案,业务决定架构,

不是所有的业务都能够采取水平伸缩就能解决性能问题的,问题的关键还在于数据之间的关系的强弱。

数据结构是不是表达数据之间的关系的强弱?

请注意结构这个词语,当你看到建筑结构,看到你的房屋结构时,你对结构一词可能有更深入理解,既然是结构了,默认数据之间已经是一种强关系。

结构化数据和非结构化数据才是完整表达数据之间关系的强弱。

也就是说,水平伸缩方案适合非结构化数据,也就是数据之间是弱关系甚至没有关系,这是很容易理解的;但如果数据之间是一种强烈的结构关系,我们称之为聚合,怎么办呢?

有一条计算机原理:聚合必然引发争夺,道理很简单:僧多粥少,坐地铁人多就要抢位置。

对于争夺,传统软件的思路就是用锁,某个时刻只能允许一个用户操作这个资源,其他用户线程必须等待其操作完成,于是互联网并排欢乐奔跑的用户到这里被迫强行停下来,等待,听从指挥,如果允许,将被唤醒进入操作。

这种人为强制性的管理措施显然带来了很差的用户体验,甚至崩溃,同时也是不尊重底层辛苦劳动的CPU。因为线程是CPU私有财产,你不能将之充公后再进行管理分配,活活地折磨CPU。

当前对于争夺比较优雅的解决方案是Reactive编程,也就是事件驱动编程。

对于有着强烈关系的聚合数据,我们必须将其作为整体对象来处理,当发生多个并发用户操作这个整体对象时,我们也不能使用锁来对用户进行限制。

参考Java的NIO的Reactor原理,以及Node.js的原理,我们为每个聚合对象分配一个专门的守护者,所有有关这个资源的操作都交给这个守护者操作,通过一个无锁的队列进行快速排队与守护者进行交接。

通过Reactive编程,我们还可以避免某个资源的操作占据CPU线程太久,只要做完有关资源争夺的那点事情后就赶快另派线程做剩余的事情。这样将串行顺序操作和并行操作能够有机细腻度的完美结合在一起。

那么性能的扩展如何解决呢?不能通过水平扩展,就只能通过垂直扩展,这里的垂直扩展不一定是向上扩展,比如PC换小型机,而是一种向下扩展,通过增加CPU核数来提升聚合数据的并发处理能力。

总之,互联网金融代表一种海量数据高事务高速处理,类似高频交易,与前期12306 或光大事件一样,对于我们从业务数据分析方法,一直到底层组件代码编程实现,都会提出新的挑战,产生颠覆性编程革命。

时间: 2024-10-22 00:15:50

互联网金融代表一种海量数据高事务高速处理的相关文章

柳文龙大道长:互联网金融的外表是互联网、灵魂是金融

去年开始做得风生水起的互联网金融搅动了传统金融业的格局,什么是互联网金融,它未来会怎么发展已成为目前市场热议的话题. 针对互联网金融创新与发展规范等一系列热点问题,本报记者刘洋采访了前盛大网络集团.全球十大网商高管,中国互联网金融行业协会.国际金融管理协会成员 大道长柳文龙. 记者刘洋:面对迅速崛起的互联网金融大潮,作为互联网资深人士,您如何看待互联网金融这一新兴事物?互联网金融对我国金融业的发展带来何种影响? 柳文龙大道长:互联网金融和金融互联网,就其本质来讲是在用互联网.大数据.云计算.移动

互联网金融频闹革命,未来到底谁主沉浮?

说到互联网金融,似乎从来就没有风平浪静过.随着<互联网金融指导意见>的正式出台,国内的互联网金融也将会迎来一场真正的淘汰赛,告别过去的野蛮生长时代.众多业内人士都预测,未来大部分的互联网金融平台都将面临倒闭,尤其是一些风控水平较差的平台. 然而让我们感到意外的是,就在监管细则即将到来之际,国内的互联网金融们却变得更加激进了:8月12日,米缸金融与天安财险联合推出“有保险的P2P”,安全一直都是所有业内外人士对于P2P的一个担忧,米缸金融大胆做了一个新的尝试,对行业影响深远:8月15日,国内首家

随着“互联网+”概念在政府工作报告中提出,互联网金融领域再度升温

随着“互联网+”概念在政府工作报告中提出,互联网金融领域再度升温.大会启动之后受到了监管层.学术界.产业界.金融界.传媒界.投资界及行业协会的高度关注与踊跃参与.峰会特邀全国各地互联网金融前沿企业创始人.高管分享成功经验,打造了超高规格的互联网金融行业盛会.现场环节设计地精彩纷呈,高峰论坛.优秀项目推荐.投融资对接.品牌集中展示等,现场“站”无虚席,人气爆棚. 大会受到了包括国家和各省市政府金融管理机构的支持,四千互联网金融大咖参会,盛况空前.广东省金融工作办公室总经济师余昆明,广东互联网金融协

互联网金融架构方案

目标:互联网金融架构方案 简介:之前也接触过一个互联网金融公司,发现互联网金融被攻击的频率很高.互联网金融企业比较注重两点:一.安全 二.稳定  说的基本是废话,长沙很多家公司都会说也挺注重安全的.其实不是,有很多公司直说说而已,互联网金融企业对这一块有比较严格把控. 原理详解:首先采用阿里云产品部署架构方案,其中模块分为运营模块(包括后台查询.审核.发标).自动投标模块.WEB页面模块(账号管理.交易.理财管理).移动APP模块(单点登陆账号管理.交易.理财管理).业务DB模块(如果有财务特殊

转载》互联网金融时代,金融安全谁负责?

2015年4月18日,中国互联网金融发展峰会暨第三届中国股权众筹发展峰会在“中国互联网金融之都”——深圳市前海特区举办,华南地区最大的移动应用安全服务提供商——爱加密,作为合作赞助商与您相约在此共同拨开行业的迷雾,此外,爱加密还受邀参加CEO高峰对话,与全国各地互联网金融前沿企业创始人.高管共同探讨互联网金融平台的安全技术与服务. 2015年1月13日,央行印发<关于推动移动金融技术创新健康发展的指导意见>,强调移动金融是丰富金融服务渠道.创新金融产品和服务模式.发展普惠金融的有效途径和方法:

互联网金融时代,金融安全谁负责?

2015年4月18日,中国互联网金融发展峰会暨第三届中国股权众筹发展峰会在“中国互联网金融之都”——深圳市前海特区举办,华南地区最大的移动应用安全服务提供商——爱加密,作为合作赞助商与您相约在此共同拨开行业的迷雾,此外,爱加密还受邀参加CEO高峰对话,与全国各地互联网金融前沿企业创始人.高管共同探讨互联网金融平台的安全技术与服务. 2015年1月13日,央行印发<关于推动移动金融技术创新健康发展的指导意见>,强调移动金融是丰富金融服务渠道.创新金融产品和服务模式.发展普惠金融的有效途径和方法:

互联网金融时代,金融安全谁来保障

2015年4月18日,中国互联网金融发展峰会暨第三届中国股权众筹发展峰会在“中国互联网金融之都”——深圳市前海特区举办,华南地区最大的移动应用安全服务提供商——爱加密,作为合作赞助商与您相约在此共同拨开行业的迷雾,此外,爱加密还受邀参加CEO高峰对话,与全国各地互联网金融前沿企业创始人.高管共同探讨互联网金融平台的安全技术与服务. 2015年1月13日,央行印发<关于推动移动金融技术创新健康发展的指导意见>,强调移动金融是丰富金融服务渠道.创新金融产品和服务模式.发展普惠金融的有效途径和方法:

互联网金融高并发方案

小微金融.场景金融等新兴银行金融业务亟需一种新型的弹性架构来应对高并发.大流量的业务冲击,同时,要满足应用快速版本迭代升级.敏捷运维管理等需求.本文分享了BoCloud博云如何利用互联网应用架构与Docker容器技术帮助银行业应对“互联网+”挑战,建设基于PaaS平台的敏捷IT架构. 移动互联网渠道创新是传统企业无法也不能躲避的业务变革,无论是接入或者自建互联网渠道都需要回答如下问题:现在的IT架构能否应对互联网渠道创新业务的爆炸性冲击?什么样的IT架构才能够解决这个问题并具备应对未来需求的良好

互联网金融做大数据风控的九种维度

在互联网金融迅猛发展的背景下,风险控制问题已然成为行业焦点,基于大数据的风控模型正在成为互联网金融领域的热门战场.那么,大数据风控到底是怎么一回事呢?与传统风控相比,它又是怎样来进行风险识别的呢?本文对此进行了探讨. 大数据能够进行数据变现的商业模式目前就是两个,一个是精准营销,典型的场景是商品推荐和精准广告投放,另外一个是大数据风控,典型的场景是互联网金融的大数据风控. 金融的本质是风险管理,风控是所有金融业务的核心.典型的金融借贷业务例如抵押贷款.消费贷款.P2P.供应链金融.以及票据融资都