1. 多进程或多线程模型
多进程服务器:Apache,Nginx,lighttpd等服务器均为多进程模型,分为Master进程和Woker进程
多进程的优点:更强的容错性 - 一个进程挂掉不会导致整个系统崩溃,更好的多核可伸缩性 - 进程的使用将许多内核资源(如地址空间,页表,打开的文件)隔离,在多核系统上的可伸缩性强于多线程程序。
多线程服务器:Tomcat,Netty等服务器均为多线程模型,分为网络IO线程和业务线程。
多线程的优点:提高响应速度,让 IO 和“计算”相互重叠,降低latency。 虽然多线程不能提高绝对性能,但能提高平均响应性能。
2. 服务器端网络模型
Linux:select/poll/epoll模型
Java: :BIO/NIO模型
3. 同步/异步模型
同步:典型的BIO模型,每个线程处理单个连接的网络数据读写和业务逻辑
异步::典型的NIO模型,单个线程可以管理多个网络连接,网络事件驱动
同步和异步所关注的消息如何通知的机制,而不是处理消息的机制.也就是说,同步的情况下,是由处理消息者自己去等待消息是否被触发,而异步的情况下是由触发机制来通知处理消息者
阻塞和非阻塞很好区别,所谓阻塞就是系统调用完成时才返回,被阻塞的进程处于睡眠状态。非阻塞是指不管系统调用是否完成都立刻返回,不会导致进程挂起。
异步化的三个层次:
Socket数据传输的异步化(NIO)
Http请求的异步化(Jetty Continuation,Servlet 3)
Work业务逻辑的异步化(Future, Callable, Runnable)
4. 进程间通信与线程间通信
多线程并发环境下,本质上要解决地是这两个问题:线程之间如何通信、线程之间如何同步。
Linux进程间通信手段:FIFO、POSIX 消息队列、共享内存、信号(signals) 、管道(pipe)、套接字(socket)等等
Linux多线程同步原语:互斥器(mutex)、条件变量(condition variable)、读
写锁(reader-writer lock)、文件锁(Record locking)、信号量(Semaphore) 等
Java平台上提供的多线程同步和通信机制
Java多线程通信及同步:wait/notify机制、synchronized关键字、Lock锁、Condition条件变量、Semaphore信号量、Atomic原子类、CyclicBarrier、CountDownLatch等等
5. 消息协议设计
TLV编码及其变体:Protobuf/thrift/ASNBER都属于这种。
文本流编码:XML/JSON都属于这种。
固定结构编码:TCP/IP即属于这种。
混合结构编码:固定结构+文本协议
6. 协程模型
一个请求的处理过程其实是需要消耗一个原生线程的,协程的好处其实就是做到真正的复用线程,避免在做等待等动作时仍然占据着线程。当然,协程只有量大的情况下才能体现出优势,从每请求一个线程的时代不如多请求共用线程,充分发挥CPU的能力,避免消耗在无谓的切换上。
协程与线程的区别在于,协程的上下文切换是在完全在用户态,由语言的runtime或者是库来完成的。而线程上下文切换则是操作系统来完成的。
在Java中实现协程的框架有Kilim,Kilim执行一项任务创建Task,使用Task的暂停机制,而不是Thread,Kilim承担了线程调度以及上下切换动作,Task相对于原生Thread而言就轻量级多了,且能更好利用CPU。Kilim带来的是线程使用率的提升,但同时由于要在JVM堆中保存Task上下文信息,因此在采用Kilim的情况下要消耗更多的内存。