谈一谈NOSQL的应用,Redis/Mongo

1.心路历程

上年11月份来公司了,和另外一个同事一起,做了公司一个移动项目的微信公众号,然后为了推广微信公众号,策划那边需要我们做一些活动,包括抽奖,投票。最开始是没有用过redis的,公司因为考虑到参与人数的问题,给我们配了两台redis服务器,一台windows的(负责本地测试),一台linux的(负责线上版本),接下来说说途中遇到的坑,和最后的解决方法

2.坑之一,存List的瓶颈问题

linux版本redis服务器是16G的内存,因为第一次使用redis,并不知道去做压力测试,不知道瓶颈在哪,然后redis又被网上的人过度神话,以为只要内存不用完,就不会有瓶颈,取数据都是秒取,存数据都是秒存。上线两天,投票明细的key里的list集合超过10W(LIST里面存了投票时间,投票对象ID,主键ID,投票人ID),读取速度出现断崖式的跌落,从毫秒级变成3秒左右,数据量达到15W后,5秒左右。然后客服就来电话了,说用户说投票太慢了,点一下好久才提示成功,一直转。(他么的,我也是第一次,鬼知道redis会这样),我试着取了下另外一个key的数据(5W左右),发现还是毫秒级,证明key之间没有影响,所以当时的想到的解决方案就是,老子分key,差不多就是name_1,name_2,然后另外放个key存当前key的增量,到5W数据就分key,临时解决投票慢的问题。

总结一下,应该不是条数的问题,和List的长度有关,所以,不要把redis当关系型数据库使用,能分key就分key,然后做好瓶颈测试(现在必做的事之一)。

3.坑之二,redis的update功能

有没有大佬告诉我下,redis能不能Update..不是先取后改再删最后增加的那种。。可以直接用的那种。。。可能是我找的帮助类有问题,反正一直没找到可以直接update的方法。

因为这个问题,和redis本身不能建索引的问题,公司决定弄一台mongodb的服务器(16G)。

接下来说的是公司的另外一个需求,就是app要集成im功能,就是QQ聊天的那种,这就存在一个问题了,推送问题,这个太复杂,所以我们决定用第三方,我就不说名字了,免得有打广告的嫌疑。但是,另外一个问题出现了,好多功能他都收费,而且还不便宜,按我们的需求来开通收费业务,最低估计要每月花3000+,老大一拍板,说,就用它的推送功能和消息的发送功能,其他不用,这2个功能是免费的。(我的心情是何等的卧槽),因为公司产品是3端在跑(内部PC端,内部移动端,客户移动端),IM功能我负责提供接口给移动端,还有PCWEB端的聊天功能,所以考虑到用什么,Mongo弄进来用了一段时间(另外的同事弄了转盘抽奖活动,就是用的mongo),用redis肯定是不行的,因为要存聊天记录(妈的,你们自己说QQ是不是很不安全,啥都存着),存好友关系,存身份信息,所以不能直接用redis来搞,决定用Mongo,因为Mongo支持索引,问题来了,mongo如果用string类型做索引,效率也是不高的,不用的话,关系怎么办(各大用户表的主键都是guid),最后想到的解决方案是,用mongo的objectid做索引,redis用hash存objectid和主键Guid之间的对应关系,瓶颈测试一下,发现30W用户(只测试了这么多,瓶颈是多少我也不知道,有瓶颈了再说吧,内部员工只有7000多人,外部看下了下用户表,才20来W,活跃的才1W不到),存取没有任何延迟的感觉,通过!

4.总结

现在对redis的应用基本就是队列,缓存,做索引关系,mongo针对线上活动的数据存取,新功能开发一般也都用Mongo做数据库,后续同步到sqlserver。

大致都是这样,现在线上redis服务器变成了2台(负载)(新功能,自动打电话的功能),mongo变成了2台,做读写分离。总体来说,用到的项目都很稳定的在运行,暂时没有发现什么问题

时间: 2024-08-28 05:53:31

谈一谈NOSQL的应用,Redis/Mongo的相关文章

NOSQL的应用,Redis/Mongo

NOSQL的应用,Redis/Mongo 1.心路历程 上年11月份来公司了,和另外一个同事一起,做了公司一个移动项目的微信公众号,然后为了推广微信公众号,策划那边需要我们做一些活动,包括抽奖,投票.最开始是没有用过redis的,公司因为考虑到参与人数的问题,给我们配了两台redis服务器,一台windows的(负责本地测试),一台linux的(负责线上版本),接下来说说途中遇到的坑,和最后的解决方法 2.坑之一,存List的瓶颈问题 linux版本redis服务器是16G的内存,因为第一次使用

谈一谈购物车

如题:今天谈一谈购物车这个话题.最近在重构购物车,所以借着兴头谈一谈购物车的设计.很久很久以前,那个时候还有没有智能手机,还没有京东,淘宝也刚刚起步,大概是在上学时读书看到的,记得书中说购物车是放在session中的,一同放进session中的还有用户的信息,然后这个印象这个梗一直深埋心中,始终认为购物车,用户信息是放在session中.后来因为多年不做电商,所以这个梗在你心中一直没有变过,直到近一年多,才发现原来已经过时很久.现在APP的应用,大数据,分布式技术和一致性协议的开始成熟,sess

谈一谈商品编码的问题

如题:今天谈一谈商品编码的问题,我们不是完全从物流和商品本身的角度去谈商品该怎么编码才符合国际标准,EAN,UPC啥啥啥怎么样的.我们从计算机程序设计,电商,数据库存储的角度看一看商品编码,首先商品有哪些编码,然后这些编码和商品的关系,在然后这些编码该怎么使用.要从电商的角度了解商品,马上想到的可能是淘宝,天猫,京东,亚马逊等他们的商品是怎么样子,是怎么存储的. 这些这么成熟的电商完全可以参考和借鉴.关于商品这个话题还是太大,因为商品本身设计的东西太多了,不同活动先不同的价格,多规格商品,不同的

谈一谈软件BUG造成的严重危害

写下本文的原因是因为这是老师布置的一个作业,谈一谈自己在实际的软件开发过程中所遇到的.并对自己影响很大的bug.无奈的是,笔者是一个软件开发的初学者,接手过的项目实在有限,在自己编写的有限的代码中所遇到的bug多是由于粗心而引起的语法问题.符号问题.代码格式问题.这些虽然是小问题,但作为一个程序员,这些看似不起眼的“小问题”却可能引起程序不能运行,出错等一系列的“大问题”,所以作为初学者的我也要时刻提醒自己,不断检查,不断完善.在认识了bug的危害性之后,突然让我不禁想起一个有关bug造成恶劣影

【dotnet跨平台】谈一谈dotnet-cli开源社区的产品持续集成

?? [dotnet跨平台]谈一谈dotnet-cli开源社区的产品持续集成 进入其中一个PR:https://github.com/dotnet/cli/pull/2580 可以看到微软使用自己搭建的持续集成平台来保证产品和代码的质量,其中每一个即将整合代码到rel/1.0.0这个主分支的代码都要经过7个测试通过,其中2个windows平台,4个linux平台和一个OS X平台如下: Details Windows_NT x64 Release Build - Build finished.

谈一谈我最喜欢的诗人--法国诗人波德莱尔

很多时候我都沉醉于波德莱尔的诗集中....... 虽然我没有看过波德莱尔相关的信息,但是看他的诗,却能够让我感受到一颗炽烈的心再向生活中的种种现象作出了自己的反思和歇斯底里的抗议,虽然有点颓废,但是他一直都在努力地避免陷入生活中糟糕的状态,波德莱尔一直都在观察生活,向我们解释了生活中的种种细节方面的信息.波德莱尔似乎是倾向于社会主义的诗人,这一点我在他的诗中能够强烈地感受到这一点,因为他是反对资本主义糜烂的物质生活的.对于当下的我们也是一记警钟.为什么呢?当人陷入物质的海洋中却没有精神信仰的寄托

谈一谈APP版本号问题

如题:谈一谈APP版本号问题 为什么要谈这个问题,周五晚上11~12点,被微信点名,说APP有错,无效的版本号,商城无法下单.我正在准备收拾东西,周末回老家,结果看到这样问题,菊花一紧.我擦,我刚加的版本号检查,在加版本号检查前,我还跟统计的妹妹仔细核对了近半年来所有的版本号,怎么还会有问题.赶紧查,原来结果,看到了一个g1_2.5.5_65,在我的一再追问下说这个就是2.5.5的版本号.然后咱们来说一说为什么要加版本号检查,然后再说,为什么会加出问题来,最后在讨论一下版本号规则.题外话跟大家探

谈一谈几种处理 JavaScript 异步操作的办法

本文标签:   JavaScript 原生JavaScript优势 JavaScript异步 js的异步操作 回调函数 TensorFlow REST   服务器 引言 js的异步操作,已经是一个老生常谈的话题,关于这个话题的文章随便google一下都可以看到一大堆.那么为什么我还要写这篇东西呢?在最近的工作中,为了编写一套相对比较复杂的插件,需要处理各种各样的异步操作.但是为了体积和兼容性,不打算引入任何的pollyfill,甚至连babel也不允许使用,这也意味着只能以es5的方式去处理.使

NOSQL之【redis的主从复制】

一.Redis的Replication: 下面的列表清楚的解释了Redis Replication的特点和优势.    1). 同一个Master可以同步多个Slaves.    2). Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力.因此我们可以将Redis的Replication架构视为图结构.    3). Master Server是以非阻塞的方式为Slaves提供服务.所以在Master-Slave同步期间,客户端仍然可以提交查询或修改

谈一谈我在阿里的成长

前几天受阿里通信的同事邀请,分享了一个关于成长的话题.其实我不太热衷于分享此类话题,作为一个技术人,分享那些没有技术干货的内容总感觉有些怪怪的.但最后还是拟下了这个话题 ——<谈一谈我在阿里的成长>,所以本文主要是对分享的 PPT 做简述. 可以回首一下,毕业工作后的这段时间里,你做过哪些事情让自己感觉有了很大的成长? 我简单枚举了一下,主要是这几个方面: 涉足一个未知的领域,走进去,那就是成长:能够坚持不懈的完成一件事情,优化一个项目,那也是成长:能够沉淀方案,推广自己的想法,让更多的人收益