常用Feed流架构实现

业务中很多需求都会用到类似feed流的架构。
例如

  • 微信朋友圈
  • 微博
  • 动态
  • 1对N消息。

一般feed流的架构实现有下面几种。
假如现在的业务场景是微博,然后当前的数据情况是:

用户A关注了用户B和C,用户D关注了用户B
用户B发了微博A,B,用户C发了微博C,D

1. 拉

数据表

  • 微博表(字段有:微博ID,微博内容,发布人)

代码逻辑:

  1. 用户 B发布微博接口,插入记录到微博表,只有一行记录
  2. 用户A获取我关注的用户的微博接口:
    1. 获取当前登录用户关注的用户,例如A关注的用户B和C
    2. 获取B和C发布的所有微博,
    3. 按时间倒序排列,分页,返回

优缺点:

  • 实现简单
  • 空间占用较少,一条微博只用一条数据库记录
  • 数据量大的情况下, 第2个接口查询较慢(需要用临时表,而且查询数据较多)

2.推

数据表

  • 微博表(字段有:微博ID,微博内容,发布人)
  • feed流表(字段有:微博ID,发布时间,接收人)

代码逻辑:

  1. 发布微博接口

    1. 插入记录到微博表
    2. 获取当前用户粉丝用户列表,假如当前用户是B,那就是获取A和D
    3. 插入2行记录到feed流表
      1. 接收人=A,微博ID=刚才的微博表ID
      2. 接收人=B,微博ID=刚才的微博表ID
  2. 用户A获取我关注的用户的微博接口:
    1. 查询feed流表,找到接收人=A的记录,按发布时间倒序排,分页,返回

优缺点:

  • 实现较复杂
  • 空间占用较多,一条微博需要插入1+N条记录(N是粉丝用户数)。如果N是几十w或者几百w,对数据库压力非常大,包括空间占用,插入或删除耗时,索引建立等。
  • 第2个接口可以用索引,所以查询很快,。

3.推+拉

上面两种方案都有优缺点,当对读的要求很高,同时用户粉丝数很大,就要想办法优化,推+拉是其中一种方案。
具体方法是区分用户:

  • 对于经常读取的用户,采用推方案,保证读取的性能
  • 对于不常读取的用户,采用拉方案,降低存储压力

从产品的角度看,有很多种方法可以区分用户是否属于经常读,这里提供其中一个可行的方案:

4. 区分活跃用户的推+拉

数据表

  • 微博表(字段有:微博ID,微博内容,发布人)
  • feed流表(字段有:微博ID,发布时间,接收人)
  • 活跃用户表(字段有:用户ID,是否活跃,最新登录时间)

代码逻辑:

  1. 发布微博接口

    1. 插入记录到微博表
    2. 获取当前用户活跃粉丝用户列表,假如当前用户是B,那就是获取A和D,其中A是活跃用户,D是非活跃,那就只获取A。SQL可以用exists,例如:select * from fans where exists (select * from 活跃表 where 是否活跃=1)
    3. 插入1行记录到feed流表(D不是活跃用户,就不插入了)
      1. 接收人=A,微博ID=刚才的微博表ID
  2. 用户A获取我关注的用户的微博接口:
    1. 查询feed流表,找到接收人=A的记录,按发布时间倒序排,分页,返回
  3. APP启动接口(每次APP启动,发送一个请求到后端)
    1. 如果用户是活跃用户,更新用户最新登录时间
    2. 如果不是,通过拉方式为用户补发feed流:
      1. 获取用户所有关注的用户
      2. 获取这些用户发的微博
      3. 把这些微博ID插入到用户的feed流表(要避免重复插入)
  4. 定时任务
    1. 每天把最新登录时间小于1天前的用户,设置为非活跃

优缺点:

  • 第2个接口可以用索引,所以查询很快。
  • 数据库压力降低。因为一般粉丝中活跃用户只有小部分,同时补发的时候,可以只补发最新的N条微博,进一步节省空间,当然这些要和产品经理制定好规则。
  • 逻辑较复杂
  • 因为补发feed流需要一定时间,所以这期间用户只能拉到旧的微博

未经允许,请不要转载

原文地址:https://www.cnblogs.com/Xjng/p/11401828.html

时间: 2024-08-08 12:58:01

常用Feed流架构实现的相关文章

关于APP的架构实现!微博和知乎中的 feed 流是如何实现的?

引自:https://www.zhihu.com/question/19645686/answer/85075806?from=profile_answer_card 微博和知乎中的 feed 流是如何实现的? 在微博中每个人关注的人会成百上千,在知乎上关注了人还关注话题关注特定主题,这些feed的输出,如何能有效降低系统查询负载,特别是知乎上feed流的结果还需要特定排序.不知道这些都是如何优化的,能否指点一二? 7 条评论 分享 按投票排序按时间排序 6 个回答 71赞同反对,不会显示你的姓

流动的推荐系统——兴趣Feed技术架构与实现

流动的推荐系统 我们经常谈论的推荐系统(Recommender System),从形式上看是比较"静态"的推荐,通常位于网页主要信息的周边,比如电商网站的"看了又看"."买了又买".这种推荐系统在大多数场景下无法独立撑起一款产品. 依据维基百科Recommender System词条的定义:"推荐系统是信息过滤系统的子类,专门用于预测用户对一个项目偏好或者评分进行预测",则兴趣Feed也是一种推荐系统:它预测用户对社交网络中相

常用的系统架构

常用的系统架构是: Linux + Apache + PHP + MySQL Linux + Apache + Java (WebSphere) + Oracle Windows Server 2003/2008 + IIS + C#/ASP.NET + 数据库

常用集群架构实战练习篇

一.简介 企业中常用的web架构主要的目的是实现高可用及其容灾备份,说白了就是让用户有更好的用提体验,一个架构的可用性只有在经历过上线后接受用户的使用才能体现出其稳定性及其不足之处.利用周末的时间出于无聊,所以想总结以前所学的知识,本文主要介绍lvs,keepalived,nginx-proxy,等常用服务的搭建及其原理. 二.lvs概述及NAT.DR原理 专题一: lvs-nat(Linux virtual system)是根据请求报文的目标ip和目标端口进行调度转发至后端某主机.在实际生产中

java常用IO流数据流小结

  类名 常用方法 说明 输入流 InputStream int read(); 只能读字节流,虽然返回值是int,但只有低8位起作用. DataInputStream Type readType(); 可以读二进制流,可以读byte,short,int,long,double等二进制流. BufferedReader String readLine(); 可以读文本行. 输出流 OutputStream void write(int); 只能写字节流,虽然形参是int,但只有低8为起作用. D

人人网张铁安:Feed系统架构分析(转)

原文:http://www.csdn.net/article/2010-07-26/277273 继成功举办首期TUP活动后,日前在北京丽亭华苑酒店鸿运二厅,由CSDN和<程序员> 杂志联合策划组织的TUP第二次活动如期而至,本次活动以Web 2.0技术为主题,聚焦当下火热的社交网.微博架构与实时搜索领域.就相关领域及产品研发背后的技术.产品设计及用户体验话题为与会者提供全开放式的交流 平台.即使是付费沙龙,参会报名人数仍在不断上升,本次活动有超过300人来到现场. 人人网技术经理张铁安 以下

常用的三层架构设计

软件系统最常用的一般会讲到三层架构,其实就是将整个业务应用划分为表示层.业务逻辑层.数据访问层等,有的还要细一些,通过分解业务细节,将不同的功能代码分散开来,更利于系统的设计和开发,同时为可能的变更提供了更小的单元,十分有利于系统的维护和扩展.常用的三层架构设计是什么样的呢?e良师益友网那个为你揭晓. 常见的三层架构基本包括如下几个部分,如图14-1所示. 图14-1 常见的三层架构 l 数据访问层DAL:用于实现与数据库的交互和访问,从数据库获取数据或保存数据到数据库的部分. 2 业务逻辑层B

Java IO流体系中常用的流分类

Java输入/输出流体系中常用的流分类 (表内容来自http://www.cnblogs.com/moonpool/p/5488463.html) 注:下表中带下划线的是抽象类,不能创建对象.粗体部分是节点流,其他就是常用的处理流. 流分类 使用分类 字节输入流 字节输出流 字符输入流 字符输出流   抽象基类 InputStream OutputStream Reader Writer 节点流 访问文件 FileInputStream FileOutStream FileReader File

05.C#常用IO流与读写文件

1.文件系统 (1)文件系统类的介绍 文件操作类大都在System.IO命名空间里.FileSystemInfo类是任何文件系统类的基类:FileInfo与File表示文件系统中的文件:DirectoryInfo与Directory表示文件系统中的文件夹:Path表示文件系统中的路径:DriveInfo提供对有关驱动器的信息的访问.注意,XXXInfo与XXX类的区别是:XXX是静态类,XXXInfo类可以实例化. 还有个较为特殊的类System.MarshalByRefObject允许在支持远