BAT都在用的数据库

在大数据高速发展的今天,数据量在不断的增加,特别是互联网web2.0应用的兴起及云计算所需要的海量存储和海量计算发展,传统的关系型数据库暴露了很多难以克服的问题,已无法满足这方面的需求。而非关系类型的数据库(NoSQL=Not Only SQL,意即“不仅仅是SQL”)则由于其本身的特点从而得到了非常迅速的发展,因为它的产生就是为了解决大规模集合和多重数据的存储和计算方面的大数据应用难题。
根据国际数据公司IDC检测统计,2011年全球数据总量已达1.8ZB (1ZB 等于1万亿GB),  且数据总量增长每两年翻一番,预计到2020年全球总量将达到40 ZB,地球上人均数据预计将达到5247GB.据统计,现在的谷歌搜索引擎每秒使用用户量已超过200万,Twitter每天就会生成超过10TB的数据,Facebook的数据为几十TB,一些特殊的企业在每小时就会产生TB级别的数据。
但是,如何利用这些数据 从中产生最大的商业价值,是所有公司和机构共同面临的挑战。这个问题比较复杂,虽然技术人员在技能提升和专业工具的帮助下,对数据越来越了解,但由于数据的增长速度越来越快,积累量越来越大,公司和机构可以利用的数据比例正在迅速下降。
    我们知道sql数据库可以存储数据和处理数据,但是NOSQL最大的一个优势就是在处理大数据这方面,能够深度处理大数据,分析数据,从大量的数据中获取有用的资源。

而传统的关系数据库在大数据处理方面就显得力不从心,暴露出了很多难以克服的问题,例如:
1、对数据库高并发读写的需求

Web2.0应用要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘IO就已经无法承受了。其实对于普通的BBS网站,往往也存在对高并发写请求的需求,例如像一些网站的实时统计在线用户状态,记录热门帖子的点击次数,投票计数等,因此这是一个相当普遍的需求。

2、对海量数据的高效率存储和访问的需求

类似Facebook,twitter,Friendfeed这样的SNS网站,每天用户产生海量的用户动态,以Friendfeed为例,一个月就达到了2.5亿条用户动态,对于关系数据库来说,在一张2.5亿条记录的表里面进行SQL查询,效率是极其低下乃至不可忍受的。再例如大型web网站的用户登录系统,例如百度、阿里、腾讯,动辄数以亿计的帐号,关系数据库也很难应付。

3、对数据库的高可扩展性和高可用性的需求

在基于web的架构当中,数据库是最难进行横向扩展的,当一个应用系统的用户量和访问量与日俱增的时候,你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移,为什么数据库不能通过不断的添加服务器节点来实现扩展呢?

因此,数聚传媒技术部门采用了非关系数据库中的MongoDB来存储数据。MongoDB的优点正是传统的关系数据库力不能及的。我们利用MongoDB解决了大规模集合和多重数据的存储和计算方面的大数据应用难题。
数聚传媒拥有精准的人群数据库,强大的人群cookie模型,通过分析,可以直接定位目标受众;近六千的用户标签,让广告智能的找用户;多重优化机制,渲染释放出最佳投放效果,得以构建全场景数据营销模式, 最后经过智能的算法以及竞价原理,实现广告投放效果最大化;合理的竞价模式使得广告主的广告投放即精准又有性价比。

时间: 2024-08-01 08:29:01

BAT都在用的数据库的相关文章

那些年 我们梦寐以求的做梦都想接触的数据库 Come on!

幼儿园大班丶默 在我眼里看来    所有沉迷电脑的小伙伴  无一不想成为电脑砖家   当然  我也想   但是想归想 要想成为一个非常专业专专业的电脑技术流  是需要经历一个漫长而痛苦的过程的 也许     许多小伙伴听到这句话时   已经退缩一大半了    心想  这是一种煎熬啊    我可不想踏进这个坑 但 也有一部分小伙伴发扬了无畏的精神  就是要征服"它"     在此先为这些无所畏惧的小伙伴致敬! 在为小伙伴们致敬以前     最先要感谢和致敬的是为我们默默奉献的老师们  是

地图大战,BAT都不开心

2014年5月5日,地图服务商四维图新发布公告称,控股股东中国四维已与腾讯签署股权转让协议,股份转让总价为 11.73 亿元,腾讯将持股 11.28%.至此,互联网三巨头BAT在地图市场的战争重新燃起,一时间众说纷纭. 其中说法最多的是,同样从四维图新获取地图数据的百度将被直接"抄底",百度该"着急"了. 国内最大的两家拥有甲级地图测绘牌照的企业高德和四维图新,高德地图被阿里巴巴全资收购,四维图新则被腾讯以第二股东的身份入股,只剩下百度一人在踽踽独行,还需要从四维图

Android聊天客户端Demo开源了.基本的聊天功能基本上都有了,数据库也已搭建,服务器用的baiduPush。可以直接拿来用!!。(希望两个手机通信的话,改一下pushid就可以)

Hello: 我是在飞,最近写了个聊天的Android客户端.今天将此demo分享出来.原澳门大家可以到github直接下载.有问题可以联系我. 几点说明: 1:android聊天客户端的demo,包含了im的基本功能. 1.1比如gif动态表情展示.语音.聊天表情.拍照.多图的发送.大图片的处理.listview缓存的处理等. 1.2数据库也已经搭载好,算是个完整项目,可以直接拿来用. 1.3服务器使用的是baidu push服务.(图片暂时没有处理上传服务器,只是上传了本地sdcard的pa

互联网的寒冬来了,BAT都不社招了

一 总理上次来到创业街,是四个月,要不就是五个月前了. 之后,全国创业形势一路走红,锣鼓喧天鞭炮齐鸣.大众创业万众创新,颇有大炼钢铁亩产万斤之势,尤其在媒体上. 再之后,2015 进入下半年,风投圈的大佬们逐个跳出来说,冬天来了,我们不能再给创业企业那么高的估值了. 言下之意,创业者们磨磨嘴皮子就能从老子手里骗几千万的日子一去不复返了.今后的融资数额,对比 2014 到 2015 上半年——我们也不过分——去零除二刚刚好:原来 2000 万的,现在 100 万:原来 200 万的,趁早回家玩蛋.

如何利用zabbix+bat脚本对windows的数据库备份任务进行监控?

应用场景:windows的sql数据库每日会自动产生bak文件,但是我们没必要通过be进行所有的bak进行异地备份(太慢),一般只备份当天的bak文件即可,但是通过windows的任务计划管理器进行备份又经常失败,所以我们必须通过监控机制进行监控时候备份成功.原理:我们可以通过bat提取当天的bak进行备份出来,其中zabbix进行bak文件的check,如果文件不存在就zabbix自动执行bat进行bak的复制,再通过be把bak文件进行异地备份 原文地址:http://blog.51cto.

首次曝光 | 阿里数万名开发者都在使用的数据库开发工具到底长什么样?

除了基础的数据查询开发功能,DMS还内置SQL审核.性能诊断优化.测试数据自动生成.多环境数据对比同步.数据库日志追踪回滚.不锁表变更.访问控制.敏感数据脱敏.安全审计等高端功能. 1.丰富的数据源 ??丰富的数据库类型支持(当前已超过25种,还在不断扩展中) MySQL.SQL Server.PostgreSQL.POLARDB等关系型数据库 DRDS等OLTP数据库 AnalyticDB for MySQL.DLA等OLAP数据库 MongoDB.Redis等NoSQL的数据库管理 同时还支

编写一个BAT脚本协助运维人员遇到问题时候调测数据库是否有效连接成功的操作攻略

简单摘要: 1.内网系统出现故障需要排查 2.运维人员不熟悉数据库操作,没法通过连接数据库和执行SQL语句的方式排查数据库及数据是否正常 3.解决方案:编写一个bat脚本,运维人员双击运行即可.   原文链接: http://www.lookdaima.com/WebForms/WebPages/Blanks/Pm/Docs/DocItemDetail.aspx?id=d861e977-87d1-4ac0-ab63-91dacb9ccc9e 背景说明: 车辆管理系统涉及2台服务器: 101:数据

运维角度浅谈:MySQL数据库优化

日志君导读: 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善. 作者:zhenliang8,本文转自51CTO博客,点击原文阅读查看网页版文章. 本博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计.对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验.影响的因素很

快速部署MySQL5.6.34数据库实践

第一章 MySQL介绍 1.1 什么是MySQL 简单来说,数据库(英文Database)就是一个存放计算机数据的仓库,这个仓库是按照一定的数据结构(数据库结构是指数据库的组织形式或数据之间的联系)来对数据进行组织和存储的,我们可以通过数据库提供的多种方法来管理期中的数据. 2.2 为什么选择MySQL数据库 毫无疑问,即成事实,绝大多数的使用linux操作系统的大中小互联网网站都在使用MySQL做为其后端的数据库存储,从大型的BAT门户,到电商平台,分类门户登无一例外都是用MySQL数据库.那