主要内容:connect()的Socket层实现、期间进程的睡眠和唤醒。
内核版本:3.15.2
我的博客:http://blog.csdn.net/zhangskd
应用层
int connect(int sockfd, const struct sockaddr *serv_addr, socklen_t addrlen);
Connects the socket referred to by the file descriptor sockfd to the address specified by serv_addr.
服务器端的socket会使用bind()来绑定IP和端口,客户端的socket则一般让系统自动选取IP和端口。
系统调用
connect()是由glibc提供的,声明位于include/sys/socket.h中,实现位于sysdeps/mach/hurd/connect.c中,
主要是用来从用户空间进入名为sys_socketcall的系统调用,并传递参数。sys_socketcall()实际上是所有
socket函数进入内核空间的共同入口。
SYSCALL_DEFINE2(socketcall, int, call, unsigned long __user *, args) { ... switch(call) { ... case SYS_CONNECT: err = sys_connect(a0, (struct sockaddr __user *) a1, a[2]); break; ... } return err; }
经过了socket层的总入口sys_socketcall(),现在进入sys_connect()。
SYSCALL_DEFINE3(connect, int, fd, struct sockaddr __user *, uservaddr, int, addrlen) { struct socket *sock; struct sockaddr_storage address; int err, fput_needed; /* 通过文件描述符fd,找到对应的socket实例。 * 以fd为索引从当前进程的文件描述符表files_struct实例中找到对应的file实例, * 然后从file实例的private_data成员中获取socket实例。 */ sock = sockfd_lookup_light(fd, &err, &fput_needed); if (!sock) goto out; /* 把套接字地址从用户空间拷贝到内核空间 */ err = move_addr_to_kernel(uservaddr, addrlen, &address); if (err < 0) goto out_put; err = security_socket_connect(sock, (struct sockaddr *)&address, addrlen); if (err) goto out_put; /* 调用Socket层的操作函数,如果是SOCK_STREAM,则proto_ops为inet_stream_ops, * 函数指针指向inet_stream_connect()。 */ err = sock->ops->connect(sock, (struct sockaddr *)&address, addrlen, sock->file->f_flags); out_put: fput_light(sock->file, fput_needed); /* 减少套接口文件的引用计数 */ out: return err; }
Socket层
SOCK_STREAM套接口的socket层操作函数集实例为inet_stream_ops,其中主动建立连接的函数
为inet_stream_connect()。
const struct proto_ops inet_stream_ops = { .family = PF_INET, .owner = THIS_MODULE, .... .connect = inet_stream_connect, ... };
int inet_stream_connect(struct socket *sock, struct sockaddr *uaddr, int addr_len, int flags) { int err; lock_sock(sock->sk); err = __inet_stream_connect(sock, uaddr,addr_len, flags); release_sock(sock->sk); return err; }
__inet_stream_connect()主要做了以下事情:
1. 检查socket地址长度和使用的协议族。
2. 检查socket的状态,必须是SS_UNCONNECTED或SS_CONNECTING。
3. 调用tcp_v4_connect()来发送SYN包。
4. 等待后续握手的完成:
如果socket是非阻塞的,那么就直接返回错误码-EINPROGRESS。
如果socket为阻塞的,就调用inet_wait_for_connect(),通过睡眠来等待。在以下三种情况下会被唤醒:
(1) 使用SO_SNDTIMEO选项时,睡眠时间超过设定值,返回0。connect()返回错误码-EINPROGRESS。
(2) 收到信号,返回剩余的等待时间。connect()返回错误码-ERESTARTSYS或-EINTR。
(3) 三次握手成功,sock的状态从TCP_SYN_SENT或TCP_SYN_RECV变为TCP_ESTABLISHED,
sock I/O事件的状态变化处理函数sock_def_wakeup()就会唤醒进程。connect()返回0。
/* Connect to a remote host. There is regrettably still a little TCP magic in here. */ int __inet_stream_connect(struct socket *sock, struct sockaddr *uaddr, int addr_len, int flags) { struct sock *sk = sock->sk; int err; long timeo; /* socket地址长度错误 */ if (addr_len < sizeof(uaddr->sa_family)) return -EINVAL; /* socket的协议族错误 */ if (uaddr->sa_family == AF_UNSPEC) { /* 如果使用的是TCP,则sk_prot为tcp_prot,disconnect为tcp_disconnect() */ err = sk->sk_prot->disconnect(sk, flags); /* 根据是否成功断开连接,来设置socket状态 */ sock->state = err ? SS_DISCONNECTING : SS_UNCONNECTED; goto out; } switch(sock->state) { default: err = -EINVAL; /* Invalid argument */ goto out; case SS_CONNECTED: /* 此套接口已经和对端的套接口相连接了,即连接已经建立 */ err = -EISCONN; /* Transport endpoint is already connected */ goto out; case SS_CONNECTING: /* 此套接口正在尝试连接对端的套接口,即连接正在建立中 */ err = -EALREADY; /* Operation already in progress */ /* Fall out of switch with err, set for this state */ break; case SS_UNCONNECTED: /* 此套接口尚未连接对端的套接口,即连接尚未建立 */ err = -EISCONN; if (sk->sk_state != TCP_CLOSE) goto out; /* 如果使用的是TCP,则sk_prot为tcp_prot,connect为tcp_v4_connect() */ err = sk->sk_prot->connect(sk, uaddr, addr_len); /* 发送SYN包 */ if (err < 0) goto out; /* 发出SYN包后socket状态设为正在连接 */ sock->state = SS_CONNECTING; /* Just entered SS_CONNECTING state; the only difference * is that return value in non-blocking case is EINPROGRESS, * rather than EALREADY. */ err = -EINPROGRESS; /* Operation now in progress */ break; } /* sock的发送超时时间,非阻塞则为0 */ timeo = sock_sndtimeo(sk, flags & O_NONBLOCK); /* 发出SYN包后,等待后续握手的完成 */ if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) { int writebias = (sk->sk_protocol == IPPROTO_TCP) && tcp_sk(sk)->fastopen_req && tcp_sk(sk)->fastopen_req->data ? 1 : 0; /* 如果是非阻塞的,那么就直接返回错误码-EINPROGRESS。 * socket为阻塞时,使用inet_wait_for_connect()来等待协议栈的处理: * 1. 使用SO_SNDTIMEO,睡眠时间超过timeo就返回0,之后返回错误码-EINPROGRESS。 * 2. 收到信号,就返回剩余的等待时间。之后会返回错误码-ERESTARTSYS或-EINTR。 * 3. 三次握手成功,被sock I/O事件处理函数唤醒,之后会返回0。 */ if (! timeo || ! inet_wait_for_connect(sk,timeo, writebias)) goto out; err = sock_intr_errno(timeo); /* 进程收到信号,如果err为-ERESTARTSYS,接下来库函数会重新调用connect() */ if (signal_pending(current)) goto out; } /* Connection was closed by RST, timeout, ICMP error or * another process disconnected us. */ if (sk->sk_state == TCP_CLOSE) goto sock_error; sock->state = SS_CONNECTED; /* 更新socket状态为连接已建立 */ err = 0; /* 清除错误码 */ out: return err; sock_error: err = sock_error(sk) ?: -ECONNABORTED; sock->state = SS_UNCONNECTED; /* 如果使用的是TCP,则sk_prot为tcp_prot,disconnect为tcp_disconnect() */ if (sk->sk_prot->disconnect(sk, flags)) /* 如果失败 */ sock->state == SS_DISCONNECTING; goto out; } static inline long sock_sndtimeo(const struct sock *sk, bool noblock) { return noblock ? 0 : sk->sk_sndtimeo; } static inline int sock_intr_errno(long timeo) { return timeo == MAX_SCHEDULE_TIMEOUT ? -ERESTARTSYS : -EINTR; }
进程的睡眠
connect()的超时时间为sk->sk_sndtimeo,在sock_init_data()中初始化为MAX_SCHEDULE_TIMEOUT,
表示无限等待,可以通过SO_SNDTIMEO选项来修改。
static long inet_wait_for_connect(struct sock *sk, long timeo, int writebias) { DEFINE_WAIT(wait); /* 初始化等待任务 */ /* 把等待任务加入到socket的等待队列头部,把进程的状态设为TASK_INTERRUPTIBLE */ prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE); sk->sk_write_pending += writebias; /* Basic assumption: if someone sets sk->sk_err, he _must_ change state of the socket * from TCP_SYN_*. Connect() does not allow to get error notifications without closing * the socket. */ /* 完成三次握手后,状态就会变为TCP_ESTABLISHED,从而退出循环 */ while ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) { release_sock(sk); /* 等下要睡觉了,先释放锁 */ /* 进入睡眠,直到超时或收到信号,或者被I/O事件处理函数唤醒。 * 1. 如果是收到信号退出的,timeo为剩余的jiffies。 * 2. 如果使用了SO_SNDTIMEO选项,超时退出后,timeo为0。 * 3. 如果没有使用SO_SNDTIMEO选项,timeo为无穷大,即MAX_SCHEDULE_TIMEOUT, * 那么返回值也是这个,而超时时间不定。为了无限阻塞,需要上面的while循环。 */ timeo = schedule_timeout(timeo); lock_sock(sk); /* 被唤醒后重新上锁 */ /* 如果进程有待处理的信号,或者睡眠超时了,退出循环,之后会返回错误码 */ if (signal_pending(current) || !timeo) break; /* 继续睡眠吧 */ prepare_to_wait(sk_sleep(sk), &wait, TASK_INTERRUPTIBLE); } /* 等待结束时,把等待进程从等待队列中删除,把当前进程的状态设为TASK_RUNNING */ finish_wait(sk_sleep(sk), &wait); sk->sk_write_pending -= writebias; return timeo; }
进程的唤醒
三次握手中,当客户端收到SYNACK、发出ACK后,连接就成功建立了。
此时连接的状态从TCP_SYN_SENT或TCP_SYN_RECV变为TCP_ESTABLISHED,sock的状态发生变化,
会调用sock_def_wakeup()来处理连接状态变化事件,唤醒进程,connect()就能成功返回了。
sock_def_wakeup()的函数调用路径如下:
tcp_v4_rcv
tcp_v4_do_rcv
tcp_rcv_state_process
tcp_rcv_synsent_state_process
tcp_finish_connect
sock_def_wakeup
wake_up_interruptible_all
__wake_up
__wake_up_common
void tcp_finish_connect(struct sock *sk, struct sk_buff *skb) { ... tcp_set_state(sk, TCP_ESTABLISHED); /* 在这里设置为连接已建立的状态 */ ... if (! sock_flag(sk, SOCK_DEAD)) { sk->sk_state_change(sk); /* 指向sock_def_wakeup,会唤醒调用connect()的进程,完成连接的建立 */ sk_wake_async(sk, SOCK_WAKE_IO, POLL_OUT); /* 如果使用了异步通知,则发送SIGIO通知进程可写 */ } }
static void sock_def_wakeup(struct sock *sk) { struct socket_wq *wq; /* socket的等待队列和异步通知队列 */ rcu_read_lock(); wq = rcu_dereference(sk->sk_wq); if (wq_has_sleeper(wq)) /* 有进程阻塞在此socket上 */ wake_up_interruptible_all(&wq->wait); /* 唤醒此socket上的所有睡眠进程 */ rcu_read_unlock(); }
最终调用__wake_up_common(),由于nr_exclusive为0,会把此socket上所有的等待进程都唤醒。