Python异步Socket编程

异步网络据说能极大的提高网络server的连接速度,所以打算写一个专题,来学习和了解异步网络.因为Python有个非常出名的异步Lib:Twisted,所以就用Python来完成.

OK,首先写一个pythone socket的server段,对开放三个端口:10000,10001,10002.krondo的例子中是每个server绑定一个端口,测试的时候需要分别开3个shell,分别运行.这太麻烦了,就分别用三个Thread来运行这些services.

Java代码  

1. import optparse
2. import os
3. import socket
4. import time
5. from threading import Thread
6. import StringIO
7. txt = ‘‘‘1111
8. 2222
9. 3333
10. 4444
11. ‘‘‘
12. def server(listen_socket):
13. while True:
14. buf = StringIO.StringIO(txt)
15. sock, addr = listen_socket.accept()
16. print ‘Somebody at %s wants poetry!‘ % (addr,)
17. while True:
18. try:
19. line = buf.readline().strip()
20. if not line:
21. sock.close()
22. break
23. sock.sendall(line)  # this is a blocking call
24. print ‘send bytes to client:%s‘ % line
25. #sock.close()
26. except socket.error:
27. sock.close()
28. break
29. time.sleep(1)  #server和client连接后，server会故意每发送一个单词后等待一秒钟后再发送另一个单词
30. def main():
31. ports = [10000, 10001, 10002]
32. for port in ports:
33. listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
34. listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
35. addres = (str(‘127.0.0.1‘), port)
36. listen_socket.bind(addres)
37. listen_socket.listen(5)
38. print "start listen at:%s" % (port,)
39. worker = Thread(target = server, args = [listen_socket])
40. worker.setDaemon(True)
41. worker.start()
42. if __name__ == ‘__main__‘:
43. main()
44. while True:
45. time.sleep(0.1) #如果不sleep的话,CPU会被Python完全占用了
46. pass

下面是一个client,没有才用异步网络,连接这个三个端口的server:

Java代码  

1. import socket
2. if __name__ == ‘__main__‘:
3. ports = [10000, 10001, 10002]
4. for port in ports:
5. address = (str(‘127.0.0.1‘), port)
6. sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
7. sock.connect(address)
8. poem = ‘‘
9. while True:
10. data = sock.recv(4)
11. if not data:
12. sock.close()
13. break
14. poem += data
15. print poem

下面用异步的client来读取，代码如下：

Java代码  

1. import datetime, errno, optparse, select, socket
2. def connect(port):
3. """Connect to the given server and return a non-blocking socket."""
4. address = (str(‘127.0.0.1‘), port)
5. sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
6. sock.connect(address)
7. sock.setblocking(0)
8. return sock
9. def format_address(address):
10. host, port = address
11. return ‘%s:%s‘ % (host or ‘127.0.0.1‘, port)
12. if __name__ == ‘__main__‘:
13. ports = [10000, 10001, 10002]
14. start = datetime.datetime.now()
15. sockets = map(connect, ports)
16. poems = dict.fromkeys(sockets, ‘‘) # socket -> accumulated poem
17. # socket -> task numbers
18. sock2task = dict([(s, i + 1) for i, s in enumerate(sockets)])
19. sockets = list(sockets) # make a copy
20. while sockets:
21. #运用select来确保那些可读取的异步socket可以立即开始读取IO
22. #OS不停的搜索目前可以read的socket，有的话就返回rlist
23. rlist, _, _ = select.select(sockets, [], [])
24. for sock in rlist:
25. data = ‘‘
26. while True:
27. try:
28. new_data = sock.recv(1024)
29. except socket.error, e:
30. if e.args[0] == errno.EWOULDBLOCK:
31. break
32. raise
33. else:
34. if not new_data:
35. break
36. else:
37. print new_data
38. data += new_data
39. task_num = sock2task[sock]
40. if not data:
41. sockets.remove(sock)
42. sock.close()
43. print ‘Task %d finished‘ % task_num
44. else:
45. addr_fmt = format_address(sock.getpeername())
46. msg = ‘Task %d: got %d bytes of poetry from %s‘
47. print  msg % (task_num, len(data), addr_fmt)
48. poems[sock] += data
49. elapsed = datetime.datetime.now() - start
50. print ‘Got poems in %s‘ %  elapsed

结果只需要4秒就完成了读取任务。效率是刚才同步socket的三倍。对客户端的异步改造主要有两点：

• 同步模式下，客户端分别创建socket；而在异步模式下，client开始就创建了所有的socket。
• 通过“sock.setblocking(0)”设置socket为异步模式。
• 通过Unix系统的select俩返回可读取IO
• 最为核心的是26行和29行。尤其是29行的select操作返回待读取socket的列表。

Python异步Socket编程