最近开始研究twemproxy先将其中的知识点归纳整理一下。作为一个系列的知识点。
一、Twemproxy简介
Twemproxy是memcache与redis的代理，由twitter公司开发并且目前已经开源。研究这个对于理解网络通信有很大的帮助。
亮点有以下：
1.twemproxy自己创建并维护和后端server（即reids实例）的长连接，保证长连接对于来自不同client但去向同一server的复用。
2.自动识别异常状态的server，保证之后的请求不会被转发到该异常server上。但如果此server恢复正常，twemproxy又能识别此server，并恢复正常访问。，
3.提供专门的状态监控端口供外部工具获取状态监控信息。
4.真正实现了多阶段处理多请求，其IO 模型值得学习，采用单线程收发包，基于epoll事件驱动模型。
5，支持Zero Copy技术，通过将消息指针在3个队列之间流转。
二、Twemproxy 入口main函数分析
Twemproxy是以c语言编写的，其整体入口在main函数中。
grep “main”，我们可以看到在文件nc.c中的main函数。开篇我们可以看到定义了一个变量，
struct instance nci;
下边我们看下这个instance的定义：
struct instance {
struct context *ctx;
int log_level;
char *log_filename;
char *conf_filename;
uint16_t stats_port;
int stats_interval;
char *stats_addr;
char hostname[NC_MAXHOSTNAMELEN];
size_t mbuf_chunk_size;
pid_t pid;
char *pid_filename;
unsigned pidfile:1;
};
这个instance就相当于是一个twemproxy实例，一个twemproxy进程对应一个instance，后边整个程序的初始化很多都会用到。注意 这里面 一个instance对应于一个context，而一个context维护一个server pool列表。也就是说一个instance可以包含多个server pool.
接下来就调用了nc_set_default_options（） 这个是用来设置上述instance实例nci的各项参数的默认值。
然后就是nc_get_options（），这个函数是读取命令行参数，如果有则覆盖上一个函数所设置的默认参数。
如果配置了-t选项 则nc_test_conf : 用于对配置文件做检查，以确保配置文件格式的正确。
之后调用nc_pre_run，启动之前做一些预处理，包括：初始化日志级别以及日志文件；设置是否后台运行；对信号做初始化处理；是否创建pid文件。
接下来调用nc_run开始启动proxy；这个函数完成的工作就是调用core_start创建context,然后进入死循环调用core_loop开始整个事件循环的处理，接受请求并处理。当然，core_start以及core_loop这两个函数里边还包含了大量的处理工作，包括，配置文件解析以及读取，相关组件(server_pool，conf,context)的初始化等等，这些后边详细讲述。
总体来说，启动流程就是这些步骤，如下图：
最近开始研究twemproxy先将其中的知识点归纳整理一下。作为一个系列的知识点。
一、Twemproxy简介
Twemproxy是memcache与redis的代理，由twitter公司开发并且目前已经开源。研究这个对于理解网络通信有很大的帮助。
亮点有以下：
1.twemproxy自己创建并维护和后端server（即reids实例）的长连接，保证长连接对于来自不同client但去向同一server的复用。
2.自动识别异常状态的server，保证之后的请求不会被转发到该异常server上。但如果此server恢复正常，twemproxy又能识别此server，并恢复正常访问。，
3.提供专门的状态监控端口供外部工具获取状态监控信息。
4.真正实现了多阶段处理多请求，其IO 模型值得学习，采用单线程收发包，基于epoll事件驱动模型。
5，支持Zero Copy技术，通过将消息指针在3个队列之间流转。
二、Twemproxy 入口main函数分析
Twemproxy是以c语言编写的，其整体入口在main函数中。
grep “main”，我们可以看到在文件nc.c中的main函数。开篇我们可以看到定义了一个变量，
struct instance nci;
下边我们看下这个instance的定义：
struct instance {
struct context *ctx;
int log_level;
char *log_filename;
char *conf_filename;
uint16_t stats_port;
int stats_interval;
char *stats_addr;
char hostname[NC_MAXHOSTNAMELEN];
size_t mbuf_chunk_size;
pid_t pid;
char *pid_filename;
unsigned pidfile:1;
};
这个instance就相当于是一个twemproxy实例，一个twemproxy进程对应一个instance，后边整个程序的初始化很多都会用到。注意 这里面 一个instance对应于一个context，而一个context维护一个server pool列表。也就是说一个instance可以包含多个server pool.
接下来就调用了nc_set_default_options（） 这个是用来设置上述instance实例nci的各项参数的默认值。
然后就是nc_get_options（），这个函数是读取命令行参数，如果有则覆盖上一个函数所设置的默认参数。
如果配置了-t选项 则nc_test_conf : 用于对配置文件做检查，以确保配置文件格式的正确。
之后调用nc_pre_run，启动之前做一些预处理，包括：初始化日志级别以及日志文件；设置是否后台运行；对信号做初始化处理；是否创建pid文件。
接下来调用nc_run开始启动proxy；这个函数完成的工作就是调用core_start创建context,然后进入死循环调用core_loop开始整个事件循环的处理，接受请求并处理。当然，core_start以及core_loop这两个函数里边还包含了大量的处理工作，包括，配置文件解析以及读取，相关组件(server_pool，conf,context)的初始化等等，这些后边详细讲述。
总体来说，启动流程就是这些步骤，如下图：
下一章将会着重分析nc_run下一章将会着重分析nc_run