粘包现象

一、基于udp的套接字

udp是无链接的,先启动哪一端都不会报错

udp服务端:

ss = socket()   #创建一个服务器的套接字
ss.bind()       #绑定服务器套接字
while True :       #服务器无限循环
    cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送)
ss.close()                         # 关闭服务器套接字

udp客户端:

cs = socket()   # 创建客户套接字
while True :      # 通讯循环
    cs.sendto()/cs.recvfrom()   # 对话(发送/接收)
cs.close()                      # 关闭客户套接字

1、udp套接字简单实例

服务端:

from socket import *

udp_ss=socket(AF_INET,SOCK_DGRAM)
udp_ss.bind((‘127.0.0.1‘,8080))

while True:
    msg,addr=udp_ss.recvfrom(1024)
    print(msg,addr)
    udp_ss.sendto(msg.upper(),addr)

客户端:

from socket import *

udp_cs=socket(AF_INET,SOCK_DGRAM)

while True:
    msg=input(‘>>: ‘).strip()
    if not msg:continue
    udp_cs.sendto(msg.encode(‘utf-8‘),(‘127.0.0.1‘,8080))
    msg,addr=udp_cs.recvfrom(1024)
    print(msg.decode(‘utf-8‘),addr)

2、模拟聊天(由于udp无连接,所以可以同时多个客户端去跟服务端通信)

服务端:

from socket import *

udp_ss=socket(AF_INET,SOCK_DGRAM)
udp_ss.bind((‘127.0.0.1‘,8081))

while True:
    msg,addr=udp_ss.recvfrom(1024)
    print(‘来自[%s]的一条消息:%s‘ %(addr,msg.decode(‘utf-8‘)))
    msg_b=input(‘回复消息: ‘).strip()
    udp_ss.sendto(msg_b.encode(‘utf-8‘),addr)

客户端1:

from socket import *

udp_cs = socket(AF_INET,SOCK_DGRAM)

while True :
    msg = input(‘请输入消息,回车发送: ‘).strip()
    if msg == ‘quit‘ : break
    if not msg : continue
    udp_cs.sendto(msg.encode(‘utf-8‘),(‘127.0.0.1‘,8081))

    back_msg,addr = udp_cs.recvfrom(1024)
    print(‘来自[%s]的一条消息:%s‘ %(addr,back_msg.decode(‘utf-8‘)))

udp_cs.close()

客户端2:

from socket import *

udp_cs = socket(AF_INET,SOCK_DGRAM)

while True :
    msg = input(‘请输入消息,回车发送: ‘).strip()
    if msg == ‘quit‘ : break
    if not msg : continue
    udp_cs.sendto(msg.encode(‘utf-8‘),(‘127.0.0.1‘,8081))

    back_msg,addr = udp_cs.recvfrom(1024)
    print(‘来自[%s]的一条消息:%s‘ %(addr,back_msg.decode(‘utf-8‘)))

udp_cs.close()

二、粘包现象

先做粘包现象:

服务端:

from socket import *
phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
phone.bind((‘127.0.0.1‘,8080))
phone.listen(5)
conn,client_addr=phone.accept()

data1=conn.recv(1024)
print(‘data1: ‘,data1)
data2=conn.recv(1024)
print(‘data2:‘,data2)

客户端:

from socket import *
phone=socket(AF_INET,SOCK_STREAM)
phone.connect((‘127.0.0.1‘,8080))

phone.send(‘hello‘.encode(‘utf-8‘))
phone.send(‘world‘.encode(‘utf-8‘))

我们再将上个随笔里的ssh例子拿出来(先执行 ipconfig /all 再执行 dir 看结果)

客户端:

from socket import *
import subprocess
cs=socket(AF_INET,SOCK_STREAM)
cs.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
cs.bind((‘127.0.0.1‘,8082))
cs.listen(5)

print(‘starting...‘)
while True:
    conn,addr=cs.accept()
    print(‘-------->‘,conn,addr)

    while True:
        try:
            cmd=conn.recv(1024)
            res = subprocess.Popen(cmd.decode(‘utf-8‘), shell=True,
                                   stdout=subprocess.PIPE,
                                   stderr=subprocess.PIPE)
            stdout=res.stdout.read()
            stderr=res.stderr.read()

            #发送命令的结果
            conn.send(stdout+stderr)
        except Exception:
            break
    conn.close() #挂电话
cs.close() #关机

服务端:

from socket import *
ss=socket(AF_INET,SOCK_STREAM) #买手机
ss.connect((‘127.0.0.1‘,8082)) #绑定手机卡

#发,收消息
while True:
    cmd=input(‘>>: ‘).strip()
    if not cmd:continue
    ss.send(cmd.encode(‘utf-8‘))
    cmd_res=ss.recv(1024)
    print(cmd_res.decode(‘gbk‘))
ss.close()

注意:

subprocess模块的结果的编码是以当前所在的系统为准的,如果是windows,那么res.stdout.read()读出的就是GBK编码的,在接收端需要用GBK解码



三、粘包

注意:只有TCP有粘包现象,UDP永远不会粘包,首先需要掌握一个socket收发消息的原理

应用程序所看到的数据是一个整体,或说是一个流(stream),一条消息有多少字节对应用程序是不可见的,因此TCP协议是面向流的协议,这也是容易出现粘包问题的原因。

例如基于tcp的套接字客户端往服务端上传文件,发送时文件内容是按照一段一段的字节流发送的,在接收方看了,根本不知道该文件的字节流从何处开始,在何处结束

所谓粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。

此外,发送方引起的粘包是由TCP协议本身造成的,TCP为提高传输效率,发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少,通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去,这样接收方就收到了粘包数据。

两种情况会粘包:

1、发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)

2、接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)

拆包的发生情况:

当发送端缓冲区的长度大于网卡的MTU时,tcp会将这次发送的数据拆成几个数据包发送出去。

四、解决粘包方法

粘包现象中第一个现象解决:

解决一:(需要知道每次发过来的数据大小 不现实)

from socket import *
phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
phone.bind((‘127.0.0.1‘,8080))
phone.listen(5)
conn,client_addr=phone.accept()

data1=conn.recv(10)
print(‘data1: ‘,data1)
data2=conn.recv(4)
print(‘data2:‘,data2)

服务端

from socket import *
phone=socket(AF_INET,SOCK_STREAM)
phone.connect((‘127.0.0.1‘,8080))

phone.send(‘helloworld‘.encode(‘utf-8‘))
phone.send(‘egon‘.encode(‘utf-8‘))

客户端

解决二:

 服务端

 客户端

ssh例子问题解决:

为字节流加上自定义固定长度报头,报头中包含字节流长度,然后一次send到对端,对端在接收时,先从缓存中取出定长的报头,然后再取真实数据

from socket import *
phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
phone.bind((‘127.0.0.1‘,8080))
phone.listen(5)
conn,client_addr=phone.accept()

data1=conn.recv(1024)
print(‘data1: ‘,data1)
data2=conn.recv(1024)
print(‘data2:‘,data2)

服务端

from socket import *
import time
phone=socket(AF_INET,SOCK_STREAM)
phone.connect((‘127.0.0.1‘,8080))

phone.send(‘hello‘.encode(‘utf-8‘))
time.sleep(5)
phone.send(‘world‘.encode(‘utf-8‘))

客户端

五、struct模块(了解)

该模块可以把一个类型,如数字,转成固定长度的bytes

struct.pack(‘i‘,11111111)
#struct.error: ‘i‘ format requires -2147483648 <= number <= 2147483647 #这个是范围

struct.pack用于将Python的值根据格式符,转换为字符串(因为Python中没有字节(Byte)类型)。它的函数原型为:struct.unpack(fmt, string)。

struct.unpack做的工作刚好与struct.pack相反,用于将字节流转换成python数据类型。它的函数原型为:struct.unpack(fmt, string),该函数返回一个元组

时间: 2024-07-31 23:53:37

粘包现象的相关文章

网络编程-之------粘包现象

一.什么是粘包 须知:只有TCP有粘包现象,UDP永远不会粘包 粘包不一定会发生 如果发生了:1.可能是在客户端已经粘了 2.客户端没有粘,可能是在服务端粘了 首先需要掌握一个socket收发消息的原理 应用程序所看到的数据是一个整体,或说是一个流(stream),一条消息有多少字节对应用程序是不可见的,因此TCP协议是面向流的协议,这也是容易出现粘包问题的原因.(因为TCP是流式协议,不知道啥时候开始,啥时候结束).而UDP是面向消息的协议,每个UDP段都是一条消息,应用程序必须以消息为单位提

python学习_day30_基于tcp协议的粘包现象

1.基于远程执行命令的程序 需用到subprocess模块 服务端: #1.执行客户端发送的指令 import socket import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.bind(('127.0.0.1',8090)) phone.listen(5) while True: conn,addr=phone.accept() print('IP:%s PORT:%s' %(addr[0

Python--网络编程-----粘包现象

一.为了防止出现端口占用的情况, linux中可以使用pkill -9 python windows系统中使用taskkill python 二.什么是粘包现象 1.多个包(也就是多个命令的执行结果)粘在一起的现象,叫做粘包现象 2.代码示例如下: 服务端代码: 1 import socket 2 import subprocess 3 4 phone = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 5 # phone.setsockopt

网络编程基础粘包现象

粘包 tcp是流式传输,字节流,数据与数据之间是没有边界的 流式传输优点: 不限定长度 可靠传输 缺点: 慢 和一个人的通信连接conn会一直占用我们的通信资源 udp协议,面向数据包的传输 数据包优点 快 由于不需要建立连接,所以谁发的消息我都能接受到 缺点 不能传输过长的数据 不可靠 粘包现象 由于流式传输的特点,产生了数据连续发送的粘包现象. 在一个conn建立起来的连接上传输的多条数据是没有边界的 数据的发送和接收实际上不是在执行send/recv的时候就立刻被发送和接收,而是需要经过操

基于tcp协议下粘包现象和解决方案

一.缓冲区 每个 socket 被创建后,都会分配两个缓冲区,输入缓冲区和输出缓冲区.write()/send() 并不立即向网络中传输数据,而是先将数据写入缓冲区中,再由TCP协议将数据从缓冲区发送到目标机器.一旦将数据写入到缓冲区,函数就可以成功返回,不管它们有没有到达目标机器,也不管它们何时被发送到网络,这些都是TCP协议负责的事情.TCP协议独立于 write()/send() 函数,数据有可能刚被写入缓冲区就发送到网络,也可能在缓冲区中不断积压,多次写入的数据被一次性发送到网络,这取决

粘包现象(存在于tcp中)

多个包 多个命令的结果 粘到一起了 因为recv(1024)1024限制了导致的结果 所谓粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的. 参考:http://www.cnblogs.com/linhaifeng/articles/6129246.html 粘包底层原理分析: 1.运行一个软件和硬盘.内存.cpu这三个硬件有关 2.启动程序:硬盘程序加载到内存启动一个软件就占一个内存空间 操作系统本身有一个内存空间 操作系统所占得到内存空间和软件的内存空间

python--subprocess,粘包现象与解决办法,缓冲区

一. subprocess 的简单用法 import subprocess sub_obj = subprocess.Popen( 'dir', #系统指令 shell=True, #固定方法 stdout=subprocess.PIPE, #标准输出 PIPE 管道,保存着指令的执行结果 stderr=subprocess.PIPE #标准错误输出 ) # dir 当前操作系统(Windows)的命令,会执行stdout print('正确输出',sub_obj.stdout.read().d

python3 tcp的粘包现象和解决办法

服务器端 import socket sk = socket.socket() sk.bind(("127.0.0.1", 6666)) sk.listen() conn, address = sk.accept() def my_send(msg): bs = msg.encode("utf-8") len_str = format(len(bs), "04d") # 定长4位 conn.send(len_str.encode("ut

什么是粘包? socket 中造成粘包的原因是什么? 哪些情况会发生粘包现象?

只有TCP有粘包现象,UDP永远不会粘包! 粘包:在接收数据时,一次性多接收了其它请求发送来的数据(即多包接收).如,对方第一次发送hello,第二次发送world, 在接收时,应该收两次,一次是hello,一次是world,但事实上是一次收到helloworld,一次收到空,这种现象叫粘包. 原因 粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的. 什么情况会发生: 1.发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据很小,会合到一起,