从零开始开发IM(即时通讯)服务端

好消息:IM1.0.0版本已经上线啦,支持特性

  • 私聊发送文本/文件
  • 已发送/已送达/已读回执
  • 支持使用ldap登录
  • 支持接入外部的登录认证系统
  • 提供客户端jar包,方便客户端开发
    github链接: https://github.com/yuanrw/IM

前言

首先讲讲IM(即时通讯)技术可以用来做什么:
聊天:qq、微信
直播:斗鱼直播、抖音
实时位置共享、游戏多人互动等等
可以说几乎所有高实时性的应用场景都需要用到IM技术。

本篇将带大家从零开始搭建一个轻量级的IM服务端,麻雀虽小,五脏俱全,我们搭建的IM服务端实现以下功能

  1. 一对一的文本消息、文件消息通信
  2. 每个消息有“已发送”/“已送达”/“已读”回执
  3. 存储离线消息
  4. 支持用户登录,好友关系等基本功能。
  5. 能够方便地水平扩展

通过这个项目能学到什么?

这个项目涵盖了很多后端必备知识

  • rpc通信
  • 数据库
  • 缓存
  • 消息队列
  • 分布式、高并发的架构设计
  • docker部署

消息通信

文本消息

我们先从最简单的特性开始实现:一个普通消息的发送
消息格式如下:

message ChatMsg{
    id = 1;
    //消息id
    fromId = Alice
    //发送者userId
    destId = Bob
    //接收者userId
    msgBody = hello
    //消息体
}


如上图,我们现在有两个用户:Alice和Bob连接到了服务器,当Alice发送消息message(hello)给Bob,服务端接收到消息,根据消息的destId进行转发,转发给Bob。

发送回执

那我们要怎么来实现回执的发送呢?
我们定义一种回执数据格式ACK,MsgType有三种,分别是sent(已发送),delivered(已送达), read(已读):

message AckMsg {
    id;
    //消息id
    fromId;
    //发送者id
    destId;
    //接收者id
    msgType;
    //消息类型
    ackMsgId;
    //确认的消息id
}

enum MsgType {
    DELIVERED;
    READ;
}

当服务端接受到Alice发来的消息时:

  1. 向Alice发送一个sent(hello)表示消息已经被发送到服务器。
message AckMsg {
    id = 2;
    fromId = Alice;
    destId = Bob;
    msgType = SENT;
    ackMsgId = 1;
}

  1. 服务器把hello转发给Bob后,立刻向Alice发送delivered(hello)表示消息已经发送给Bob。
message AckMsg {
    id = 3;
    fromId = Bob;
    destId = Alice;
    msgType = DELIVERED;
    ackMsgId = 1;
}

  1. Bob阅读消息后,客户端向服务器发送read(hello)表示消息已读
message AckMsg {
    id = 4;
    fromId = Bob;
    destId = Alice;
    msgType = READ;
    ackMsgId = 1;
}

这个消息会像一个普通聊天消息一样被服务器处理,最终发送给Alice。

在服务器这里不区分ChatMsgAckMsg,处理过程都是一样的:解析消息的destId并进行转发。

水平扩展

当用户量越来越大,必然需要增加服务器的数量,用户的连接被分散在不同的机器上。此时,就需要存储用户连接在哪台机器上。
我们引入一个新的模块来管理用户的连接信息。

管理用户状态

模块叫做user status,共有三个接口:

public interface UserStatusService {

    /**
     * 用户上线,存储userId与机器id的关系
     *
     * @param userId
     * @param connectorId
     * @return 如果当前用户在线,则返回他连接的机器id,否则返回null
     */
    String online(String userId, String connectorId);

    /**
     * 用户下线
     *
     * @param userId
     */
    void offline(String userId);

    /**
     * 通过用户id查找他当前连接的机器id
     *
     * @param userId
     * @return
     */
    String getConnectorId(String userId);
}

这样我们就能够对用户连接状态进行管理了,具体的实现应考虑服务的用户量、期望性能等进行实现。
此处我们使用redis来实现,将userId和connectorId的关系以key-value的形式存储。

消息转发

除此之外,还需要一个模块在不同的机器上转发消息,如下结构:

此时我们的服务被拆分成了connectortransfer两个模块,connector模块用于维持用户的长链接,而transfer的作用是将消息在多个connector之间转发。
现在Alice和Bob连接到了两台connector上,那么消息要如何传递呢?

  1. Alice上线,连接到机器[1]上时

    • 将Alice和它的连接存入内存中。
    • 调用user statusonline方法记录Alice上线。
  2. Alice发送了一条消息给Bob
    • 机器[1]收到消息后,解析destId,在内存中查找是否有Bob。
    • 如果没有,代表Bob未连接到这台机器,则转发给transfer
  3. transfer调用user statusgetConnectorId(Bob)方法找到Bob所连接的connector,返回机器[2],则转发给机器[2]

流程图:

总结:

  • 引入user status模块管理用户连接,transfer模块在不同的机器之间转发,使服务可以水平扩展。
  • 为了满足实时转发,transfer需要和每台connector机器都保持长链接。

离线消息

如果用户当前不在线,就必须把消息持久化下来,等待用户下次上线再推送,这里使用mysql存储离线消息。
为了方便地水平扩展,我们使用消息队列进行解耦

  • transfer接收到消息后如果发现用户不在线,就发送给消息队列入库。
  • 用户登录时,服务器从库里拉取离线消息进行推送。

用户登录、好友关系

用户的注册登录、账户管理、好友关系链等功能更适合使用http协议,因此我们将这个模块做成一个restful服务,对外暴露http接口供客户端调用。

至此服务端的基本架构就完成了:

总结

以上就是这篇博客的所有内容,本篇帮大家构建了IM服务端的架构,但还有很多细节需要我们去思考,例如:

  • 如何保证消息的顺序和唯一
  • 多个设备在线如何保证消息一致性
  • 如何处理消息发送失败
  • 消息的安全性
  • 如果要存储聊天记录要怎么做
  • 数据库分表分库
  • 服务高可用
    ……

更多细节实现就留到下一篇啦~

IM1.0.0版本已上线,github链接:
https://github.com/yuanrw/IM
觉得对你有帮助请点个star吧~!

原文地址:https://www.cnblogs.com/yuanrw/p/11460743.html

时间: 2024-10-07 13:38:08

从零开始开发IM(即时通讯)服务端的相关文章

使用tomcat方式实现websocket即时通讯服务端讲解

第一种方案:使用Tomcat的方式实现 tomcat版本要求:tomcat7.0+.需要支持Javaee7 导入javeee-api的jar(如果已经引入可以忽略): pom.xml中加入: <dependency> <groupId>javax</groupId> <artifactId>javaee-api</artifactId> <version>7.0</version> <scope>provide

.net平台 基于 XMPP协议的即时消息服务端简单实现

.net平台 基于 XMPP协议的即时消息服务端简单实现 昨天抽空学习了一下XMPP,在网上找了好久,中文的资料太少了所以做这个简单的例子,今天才完成.公司也正在准备开发基于XMPP协议的即时通讯工具所以也算是打一个基础吧!如果你还没有了解过XMPP请先阅读附录中链接的文章,本实例是基agsXMPP上开发的,agsXMPP是C#写的支持开源XMPP协议软件,我们可以在agsXMPP上快速构建自已的即时通讯平台,我的这个例子只是修改了服务器端,因为agsXMPP本身自带的服务器端没有实现聊天功能.

Golang 在电商即时通讯服务建设中的实践

马蜂窝技术原创文章,更多干货请搜索公众号:mfwtech ?即时通讯(IM)功能对于电商平台来说非常重要,特别是旅游电商. 从商品复杂性来看,一个旅游商品可能会包括用户在未来一段时间的衣.食.住.行等方方面面:从消费金额来看,往往单次消费额度较大:对目的地的陌生.在行程中可能的问题,这些因素使用户在购买前.中.后都存在和商家沟通的强烈需求.可以说,一个好用的 IM 可以在一定程度上对企业电商业务的 GMV 起到促进作用. 本文我们将结合马蜂窝旅游电商 IM 服务的发展历程,重点介绍基于 Go 的

Android即时通讯服务,类似QQ的聊天工具,源码分享

Android即时通讯服务,类似QQ的聊天工具 基于bmob开发完成 下面有源码分享,敬请下载,多多支持回复 1.1      手机必须要有网络 1.2      手机必须要有SIM卡 1.3      手机必须要挂载有SDCAR 源码在此 链接: http://pan.baidu.com/s/1jGCIFsy 密码: 9eqc

开源jabber(XMPP)架设内部即时通讯服务的解决方案

Jabber 是著名的即时通讯服务服务器,它是一个自由开源软件,能让用户自己架即时通讯服务器,可以在Internet上应用,也可以在局域网中应用.    XMPP(可扩展消息处理现场协议)是基于可扩展标记语言(XML)的协议,它用于即时消息(IM)以及在线现场探测.它在促进服务器之间的准即时操作.这个协议可能最终允许因特网用户向因特网上的其他任何人发送即时消息,即使其操作系统和浏览器不同.XMPP的技术来自于Jabber,其实它是 Jabber的核心协定,所以XMPP有时被误称为Jabber协议

TCP/IP异步通讯服务端实现方法

近期做了个TCP/IP异步通讯服务端实现方法,也是在网上胡乱搜索,然找了个自认为比较好的,然后封装一下,供后面自个使用,也供大家参考,如有不好的地方,欢迎指正,谢谢! 下面说一下这个方法里面的几个知识点: 1.托管 这个东西真心好用,虽然不知道具体怎么弄的,托管可以实现一个对象中的方法交由其他对象实现,而且可以同时触发多个方法,组件的触发函数就是由托管实现的,具体实现如下: 先声明一个托管的方法类型 public delegate void RecieveMsg(string IP_addr,

纯正商业级应用-Node.js Koa2开发微信小程序服务端

第1章 前言.导学与node.js如何理解Node.js?前端到底要不要学习Node.js?本课程能让你学到什么? 第2章 Koa2的那点事儿与异步编程模型Koa非常的精简,基本上,没有经过二次开发的Koa根本“不能”用.本章我们讲解Koa的重要特性,理解什么是洋葱模型?以及在KOA中如何进行异步编程?很多同学都了解以上知识点,但听完本章,你会有一些不一样的理解,比如:为什么要有洋葱模型?没有会怎样?Koa中间件一定是异步的吗? ... 第3章 路由系统的改造Koa-router需要进行一些改造

C#开发BIMFACE系列10 服务端API之获取文件下载链接

通过BIMFACE控制台或者调用服务接口上传文件成功后,默认场景下需要下载该源文件,下载文件一般需要知道文件的下载链接即可.BIMACE平台提供了“获取文件下载链接”的服务接口.下面详细介绍其使用方法. 请求地址:GET https://file.bimface.com/download/url 说明:应用通过该接口获取文件的下载地址,然后下载文件.下载地址有效时间是5分钟. 参数: 请求 path(示例):https://file.bimface.com/download/url?fileId

C#开发BIMFACE系列11 服务端API之源文件删除

通过BIMFACE控制台或者调用服务接口上传文件成功后,如果不再需要该文件,则可以通过BIMFACE平台提供的“源文件删除”服务接口删除具体的文件.下面详细介绍其使用方法. 请求地址:DELETE https://file.bimface.com/file 说明:根据文件ID删除文件 参数: 请求 path(示例):https://file.bimface.com/file?fileId=1418750515413120 请求 header(示例):"Authorization: Bearer

C#开发BIMFACE系列14 服务端API之批量获取转换状态详情

系列目录     [已更新最新开发文章,点击查看详细] 上一篇<C#开发BIMFACE系列13 服务端API之获取转换状态>中介绍了根据文件ID查询单个文件的转换状态. 本文介绍批量获取转换状态详情. 请求地址:POST https://api.bimface.com/translateDetails 说明:应用发起转换以后,可以根据筛选条件,通过该接口批量查询转换状态详情 参数: 请求 path(示例):https://api.bimface.com/translateDetails 请求