网络编程-----黏包问题

一，黏包现象

我们通过一段简单程序来看看黏包现象：

import socket
sk=socket.socket()
sk.bind((‘127.0.0.1‘,8090))
sk.listen()
conn,addr=sk.accept()
while True:
    cmd=input(">>>")
    if cmd==‘q‘:
        conn.send(b‘q‘)
        break
    conn.send(cmd.encode(‘gbk‘))

    res=conn.recv(1024).decode(‘gbk‘)
    print(res)
conn.close()
sk.close()

server端

imsocket
import subprocess
sk=socket.socket()
sk.connect((‘127.0.0.1‘,8090))
while True:
    cmd=sk.recv(1024).decode(‘gbk‘)
    if cmd==‘q‘:
        break
    res=subprocess.Popen(cmd,shell=True,
                         stdout=subprocess.PIPE,
                         stderr=subprocess.PIPE)

    sk.send(res.stdout.read())
    sk.send(res.stderr.read())
sk.close()

client端

同时执行多条命令之后，得到的结果很可能只有一部分，在执行其他命令时又会接到之前执行的另外一部分结果，这种就是黏包。

只有tcp有黏包现象，udp不会黏包。

二，黏包成因

tcp协议中的数据传递

tcp协议的拆包机制

当发送端缓冲区的长度大于网卡的MTU时，tcp会将这次发送的数据拆成几个数据包发送出去。
MTU是Maximum Transmission Unit的缩写。意思是网络上传送的最大数据包。MTU的单位是字节。 大部分网络设备的MTU都是1500。如果本机的MTU比网关的MTU大，大的数据包就会被拆开来传送，这样会产生很多数据包碎片，增加丢包率，降低网络速度。

面向流的通信特点和Nagle（优化）算法

TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。
收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。
这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
对于空消息：tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），也可以被发送，udp协议会帮你封装上消息头发送过去。
可靠黏包的tcp协议：tcp的协议数据不会丢，没有收完包，下次接收，会继续上次继续接收，己端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。

基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。

三，会发生黏包的两种情况

1，发送方的缓存机制：发送端需要等缓冲区满才发送出去，造成黏包（发送数据时间间隔很短，数据很小，会合到一起，产生黏包）

例：连续send两次且数据很小

import socket

sk = socket.socket()
sk.connect((‘127.0.0.1‘,8090))

sk.send(b‘hello‘)
sk.send(b‘egg‘)

sk.close()

发送端

import socket
sk = socket.socket()
sk.bind((‘127.0.0.1‘,8090))
sk.listen()

conn,addr = sk.accept()

ret2 = conn.recv(10)

print(ret2)

conn.close()
sk.close()

接收端

2，接收方的缓存机制：接收不及时接收缓冲区的包，造成多个包接收（客户端发送一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿走上次剩余的数据，产生黏包。）

例：连续recv两次且第一个recv接收的数据小

import socket

sk = socket.socket()
sk.connect((‘127.0.0.1‘,8090))

sk.send(b‘hello,egg‘)

sk.close()

发送端

import socket
sk = socket.socket()
sk.bind((‘127.0.0.1‘,8090))
sk.listen()

conn,addr = sk.accept()
ret = conn.recv(2)
ret2 = conn.recv(10)
print(ret)
print(ret2)

conn.close()
sk.close()

接收端

总结：

1，表面上看，黏包问题主要是因为发送端和接收端的缓存机制、tcp协议面向流通信的特点。

2，实际上，主要还是因为接收端不知道消息之间的界限，不知道一次性提取多少次字节的数据所造成的。

四，黏包的解决

1，将要发送的字节流总大小发给接收端，然后接收端来一个循环接收完所有数据。

import socket
sk = socket.socket()
sk.bind((‘127.0.0.1‘,8080))
sk.listen()
conn,addr = sk.accept()
while True:
    cmd = input(‘>>>‘)
    if cmd == ‘q‘:
        conn.send(b‘q‘)
        break
    conn.send(cmd.encode(‘gbk‘))
    num = conn.recv(1024).decode(‘utf-8‘)  # 2048
    conn.send(b‘ok‘)
    res = conn.recv(int(num)).decode(‘gbk‘)
    print(res)
conn.close()
sk.close()

服务端

import socket
import subprocess

sk = socket.socket()
sk.connect((‘127.0.0.1‘,8080))
while True:
    cmd = sk.recv(1024).decode(‘gbk‘)
    if cmd == ‘q‘:
        break
    res = subprocess.Popen(cmd,shell=True,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE)
    std_out = res.stdout.read()
    std_err = res.stderr.read()
    sk.send(str(len(std_out)+len(std_err)).encode(‘utf-8‘))   #2000
    sk.recv(1024)   # ok
    sk.send(std_out)
    sk.send(std_err)
sk.close()

客户端

问题：程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网路延迟带来的性能损耗。send sendto在超过一定范围的时候会报错

2，进阶方案

struck模块，该模块可以把一个类型，例，数字，转换成固定的长度bytes类型

import struct
s=struct.pack(‘i‘,23)    # i ,整数类型，不管数字有多大 ，都转换成4个字节长度
print(s)                         #b‘\x84\x1a\x00\x00‘
s1=struct.unpack(‘i‘,s) #取出数字
print(s1)            #元组（23，）    

import json,struct
#假设通过客户端上传1T:1073741824000的文件a.txt

#为避免粘包,必须自定制报头
header={‘file_size‘:1073741824000,‘file_name‘:‘/a/b/c/d/e/a.txt‘,‘md5‘:‘8f6fbf8347faa4924a76856701edb0f3‘} #1T数据,文件路径和md5值

#为了该报头能传送,需要序列化并且转为bytes
head_bytes=bytes(json.dumps(header),encoding=‘utf-8‘) #序列化并转成bytes,用于传输

#为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
head_len_bytes=struct.pack(‘i‘,len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度

#客户端开始发送
conn.send(head_len_bytes) #先发报头的长度,4个bytes
conn.send(head_bytes) #再发报头的字节格式
conn.sendall(文件内容) #然后发真实内容的字节格式

#服务端开始接收
head_len_bytes=s.recv(4) #先收报头4个bytes,得到报头长度的字节格式
x=struct.unpack(‘i‘,head_len_bytes)[0] #提取报头的长度

head_bytes=s.recv(x) #按照报头长度x,收取报头的bytes格式
header=json.loads(json.dumps(header)) #提取报头

#最后根据报头的内容提取真实的数据,比如
real_data_len=s.recv(header[‘file_size‘])
s.recv(real_data_len)

使用struck解决黏包：

把报头做成字典，字典里要包含将要发送真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节。

发送时：先发报头长度，再编码报头内容然后发送，最后发真实内容。

接收时：先收报头长度，用struct取出来，根据取出的长度收取报头内容，解码，反序列化，从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容

# 发送端
import os
import json
import struct
import socket
sk = socket.socket()
sk.connect((‘127.0.0.1‘,8090))
buffer = 1024
# 发送文件
head = {‘filepath‘:r‘F:\Program Files\feiq\Recv Files\day23‘,
        ‘filename‘:r‘04 python fullstack s9day23 组合2.mp4‘,
        ‘filesize‘:None}
file_path = os.path.join(head[‘filepath‘],head[‘filename‘])
filesize = os.path.getsize(file_path)
head[‘filesize‘] = filesize
json_head = json.dumps(head)   # 字典转成了字符串
bytes_head = json_head.encode(‘utf-8‘)      # 字符串转bytes
# 计算head的长度
head_len = len(bytes_head)    # 报头的长度
pack_len = struct.pack(‘i‘,head_len)
sk.send(pack_len)  # 先发报头的长度
sk.send(bytes_head) # 再发送bytes类型的报头
with open(file_path,‘rb‘) as f:
    while filesize:
        print(filesize)
        if filesize >= buffer:
            content = f.read(buffer)   # 每次读出来的内容
            sk.send(content)
            filesize -= buffer
        else:
            content = f.read(filesize)
            sk.send(content)
            break
sk.close()

客户端

import json
import socket
import struct
sk = socket.socket()
sk.bind((‘127.0.0.1‘,8090))
sk.listen()
buffer = 1024
conn,addr = sk.accept()
# 接收
head_len = conn.recv(4)
head_len = struct.unpack(‘i‘,head_len)[0]
json_head = conn.recv(head_len).decode(‘utf-8‘)
head = json.loads(json_head)
filesize = head[‘filesize‘]
with open(head[‘filename‘],‘wb‘) as f:
    while filesize:
        print(filesize)
        if filesize >= buffer:
            content = conn.recv(buffer)
            f.write(content)
            filesize -= buffer
        else:
            content = conn.recv(filesize)
            f.write(content)
            break
conn.close()
sk.close()

服务端

五，socket的更多方法

服务端套接字函数
s.bind()    绑定(主机,端口号)到套接字
s.listen()  开始TCP监听
s.accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

客户端套接字函数
s.connect()     主动初始化TCP服务器连接
s.connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途的套接字函数
s.recv()            接收TCP数据
s.send()            发送TCP数据
s.sendall()         发送TCP数据
s.recvfrom()        接收UDP数据
s.sendto()          发送UDP数据
s.getpeername()     连接到当前套接字的远端的地址
s.getsockname()     当前套接字的地址
s.getsockopt()      返回指定套接字的参数
s.setsockopt()      设置指定套接字的参数
s.close()           关闭套接字

面向锁的套接字方法
s.setblocking()     设置套接字的阻塞与非阻塞模式
s.settimeout()      设置阻塞套接字操作的超时时间
s.gettimeout()      得到阻塞套接字操作的超时时间

面向文件的套接字的函数
s.fileno()          套接字的文件描述符
s.makefile()        创建一个与该套接字相关的文件

原文地址：https://www.cnblogs.com/glf1160/p/8378850.html

时间： 2024-10-10 01:56:13

网络编程-----黏包问题的相关文章

Python之网络编程 黏包

黏包现象 系统缓冲区 缓冲区的作用 没有缓冲区 , 如果你的网路出现短暂的异常或者波动, 接收数据就会出现短暂的中断, 影响你的下载或者上传的效率 但是凡事都有双刃剑, 缓冲区解决了上传下载的传输效率问题 也带来了黏包的问题 讲粘包之前先看看socket缓冲区的问题: 每个 socket 被创建后,都会分配两个缓冲区,输入缓冲区和输出缓冲区. write()/send() 并不立即向网络中传输数据,而是先将数据写入缓冲区中,再由TCP协议将数据从缓冲区发送到目标机器.一旦将数据写入到缓冲区,函数

python之网络编程粘包

一.粘包 粘包现象 # 服务端 import socket import subprocess phone = socket.socket() phone.bind(('127.0.0.1',8888)) phone.listen(5) while 1: conn,addr = phone.accept() while 1: cmd = conn.recv(1024) ret = subprocess.Popen(cmd.decode('utf-8'), shell=True, stdout=s

第六章 - 网络编程 - 粘包

1.粘包: 多个包 多个命令的结果 粘到一起了 因为recv 1024限制了 导致的结果 参考:http://www.cnblogs.com/linhaifeng/articles/6129246.html 粘包底层原理分析: 1.运行一个软件 和 哪几个硬件 有关 硬盘 内存 cpu 2.启动程序: 硬盘程序 加载到 内存 启一个软件就占一个内存空间 os 就有一个内存空间 os的内存空间 和 软件的内存空间 彼此互相隔离 须知:只有TCP有粘包现象,UDP永远不会粘包. 所谓粘包问题主要还是

网络编程粘包问题

首先说为什么会粘包,在py2上运行时,服务器把两次发送的操作强制的合成一次发送给客户端,所以 粘在一起了,因为python3的版本是可以的,但是有的时候python3也会出现粘包现象. 解决粘包的问题有两种方法: 1  可以先sleep一下,这个样子就可以使缓冲区超时,就不在等下一次的了,这样就可以和下一条命令隔离开了 2  我在服务端来一个等待客户端确认,就ok了,这个确认不需要我们用户输入,而是客户端自动的给你来这个响应,就是说,客户端自动的写好代码,自动的给服务器一个响应,只要收到服务端的

Java 网络编程 net包

Java提供的通信方式 Socket--面向连接 使用TCP协议,TCP是一种面向连接保证可靠传输的协议.通过TCP协议传输,得到的是一个顺序的无差错的数据流.Java提供的Socket和ServerSocket类支持TCP协议.在发送数据前,发送方和接收方各有一个Socket,它们要建立连接,一旦这两个Socket建立了连接,双方就可以进行双向数据传输,并且所有发送的信息都会在另一端以同样的顺序被接收,安全性高. 服务器程序编写 import java.io.BufferedReader; i

20 网络编程 粘包现象与解决方案

1.https://www.cnblogs.com/guobaoyuan/p/6809447.html 发送数据包前 对包的长度进行计算 1. 比较low的方法是 len( package) 然后直接发送给接收端.这样会出现一个问题,就是接收端不知道你的这个 len(package)是几个字节,就也有可能会出现粘包问题. 2. 利用struct对包的长度打包为固定4个字节或8个字节. 3. struct.pack format参数为"i" 时只能打包长度为10的数字,那么还可以先将 长

Python网络之黏包

基础示例 # 服务端 from socket import * sk = socket() sk.bind(('127.0.0.1',8090)) sk.listen() conn,addr = sk.accept() while True: cmd = input('>>>') if cmd == 'q': conn.send(cmd.encode('utf-8')) break conn.send(cmd.encode('utf-8')) print(conn.recv(1024).

Python -- 黏包

8.7 黏包 黏包现象: 产生黏包现象的根本原因是缓冲区. 所谓粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的. 什么是黏包现象: 基于tcp协议的socket.客户端接收不完,下一次将继续接收(如果间隔时间相对过长,后续的数据会与之前的数据黏在一起),send数据时.连续发送少量的数据(时间间隔很短),这些数据会积压在一起发送出去. 系统缓冲区的作用: 如果没有缓冲区,在你的网络出现短暂的异常或者波动,接收数据就会出现短暂的中断,影响你的下载或者上传的效

网络编程中黏包的解决方案

解决方案一 问题的根源在于,接收端不知道发送端将要传送的字节流的长度,所以解决粘包的方法就是围绕,如何让发送端在发送数据前,把自己将要发送的字节流总大小让接收端知晓,然后接收端来一个死循环接收完所有数据. #_*_coding:utf-8_*_ import socket,subprocess ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_