day26粘包

一、粘包现象

只有TCP有粘包现象,UDP永远不会粘包

res=subprocess.Popen(cmd.decode(‘utf-8‘),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)

的结果的编码是以当前所在的系统为准的,如果是windows,那么res.stdout.read()读出的就是GBK编码的,在接收端需要用GBK解码

且只能从管道里读一次结果

socket接收原理

所谓粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。

tcp的协议数据不会丢,没有收完包,下次接收,会继续上次继续接收,己端总是在收到ack时才会清除缓冲区内容。数据是可靠的,但是会粘包。

两种情况会发生粘包

发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)

接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)

解决粘包的方法

为字节流加上自定义固定长度报头,报头中包含字节流长度,然后一次send到对端,对端在接收时,先从缓存中取出定长的报头,然后再取真实数据

egon解决粘包的方法

我们可以把报头做成字典,字典里包含将要发送的真实数据的详细信息,然后json序列化,然后用struck将序列化后的数据长度打包成4个字节(4个自己足够用了)

发送时:

先发报头长度

再编码报头内容然后发送

最后发真实内容

接收时:

先手报头长度,用struct取出来

根据取出的长度收取报头内容,然后解码,反序列化

从反序列化的结果中取出待取数据的详细信息,然后去取真实的数据内容

struct模块

struct 模块
import json
header_dic={
        ‘total_size‘:102345
        ‘md5‘:1232141412ads
        ‘filename‘:‘a.txe‘

}
header_json=json.dumps(heade_dic)
header_bytes=header_json.encode(‘utf-8‘)
header_size=len(header_bytes)

print(header_size)
obj=struct.pack(‘i‘,header_size)
print(obj,len(obj))

1、服务端

from socket import *

import subprocess、struct、json

server=socket(AF_INET,SOCK_STREAM)

server.bind((‘127.0.0.1‘,8080))

server.listen(5)

while True:

  conn,client_addr=server.accept()

  print(client_addr)

  while True:

    try:

      cmd=conn.recv(1024)

      obj=subprocess.Peopen(cmd,decode(‘utf-8‘),

                  shell=True,

                 stdout=subprocess.PIPE,

                 stderr=subprocess.PIPE)

      stdout=obj.stdout.read()

      stderr=obj.stderr.read()

      

    # 1、制作报头    header_dic={        ‘total_size‘:len(stdout) + len(stderr),        ‘md5‘:‘123svsaef123sdfasdf‘,        ‘filename‘:‘a.txt‘    }    header_json = json.dumps(header_dic)    header_bytes = header_json.encode(‘utf-8‘)

    # 2、先发送报头的长度    header_size=len(header_bytes)    conn.send(struct.pack(‘i‘,header_size))

    # 3、发送报头    conn.send(header_bytes)

    # 4、发送真实的数据    conn.send(stdout)    conn.send(stderr)  
except ConnectionResetError:            break

conn.close()server.close()

客户端from socket import*import struct ,jsonclient=socket(AF_INET,SOCK_STREAM)
client.connect((‘127.0.0.1‘,8080))
while True:  cmd=input(‘>>>:‘).strip()  if not cmd:continue  client.send(cmd.encode(‘utf-8‘))  #1、先收报头的长度  head_size=struct.unpack(‘i‘,client.recv(4))[0]  #2、接收报头  header_bytes=client.recv(header_size)  #3、解析报头  header_json=header_bytes.decode(‘utf-8‘)  header_dic=json.loads(header_json)  print(header_dic)  total_size=header_sic[‘total_size‘]  #4、根据报头内的信息,收取真实的数据  recv_size=0  res=b‘‘  while recv_size<total_size:    recv_data=client.recv(1024)    res+=recv_data    recv_size+=len(recv_data)  print(res.decode(‘gbk‘))clent.close()  

      

原文地址:https://www.cnblogs.com/lg04551/p/8890931.html

时间: 2024-07-29 17:09:30

day26粘包的相关文章

netty 解决TCP粘包与拆包问题(二)

TCP以流的方式进行数据传输,上层应用协议为了对消息的区分,采用了以下几种方法. 1.消息固定长度 2.第一篇讲的回车换行符形式 3.以特殊字符作为消息结束符的形式 4.通过消息头中定义长度字段来标识消息的总长度 一.采用指定分割符解决粘包与拆包问题 服务端 1 package com.ming.netty.nio.stickpack; 2 3 4 5 import java.net.InetSocketAddress; 6 7 import io.netty.bootstrap.ServerB

基于NIO的消息路由的实现(四) 服务端通讯主线程(2)断包和粘包的处理

本来我打算单独开一章,专门说明粘包和断包,但是觉得这个事儿我在做的时候挺头疼的,但是对于别人或许不那么重要,于是就在这里写吧. 那么何谓粘包.何谓断包呢? 粘包:我们知道客户端在写入报文给服务端的时候,首先要将需要写入的内容写入Buffer,以ByteBuffer为例,如果你Buffer定义的足够大,并且你发送的报文足够快,此时就会产生粘包现象,举例来说 你发送一个 报文" M|A",然后你有发送了一个"M|B",如果产生粘包,服务端从缓冲区里面读出的就是"

Day35:基于UDO的套接字、粘包问题

一.基于UDP的套接字 UDP服务端 ss = socket() #创建一个服务器的套接字 ss.bind() #绑定服务器套接字 inf_loop: #服务器无限循环 cs = ss.recvfrom()/ss.sendto() # 对话(接收与发送) ss.close() # 关闭服务器套接字 UDP客户端 cs = socket() # 创建客户套接字 comm_loop: # 通讯循环 cs.sendto()/cs.recvfrom() # 对话(发送/接收) cs.close() #

Netty解决TCP粘包/拆包问题 - 按行分隔字符串解码器

服务端 package org.zln.netty.five.timer; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; impo

netty拆包/粘包的解决方案

netty拆包/粘包的解决方案 刚开始学拆包/粘包的时候确实不太好理解,我反复看了几遍就理解了.写下了加深记忆,也希望对大家有所帮助. 本章只介绍简单的二个工具LineBaseFrameDecoder和StringDecoder. 基础知识 1.首先图解拆包/粘包问题出现的原因 假设现在客户端向服务器端发送数据,在某一时间段上客户端分别发送了D1和D2二个数据包给服务器,由于服务器一次读取到的字节数是不确定的,故存在以下5种情况. 情况1:服务器分二次读取到了二个独立的数据包,分别是D1和D2,

QTcpSocket 及 TCP粘包分析

----我的生活,我的点点滴滴!! 这两天用Qt简单的实现一个tcp多线程client,在此记录下知识. 一.长连接与短连接 1.长连接 Client方与Server方先建立通讯连接,连接建立后不断开, 然后再进行报文发送和接收. 2.短连接 Client方与Server每进行一次报文收发交易时才进行通讯连接,交易完毕后立即断开连接.此种方式常用于一点对多点通讯,比如多个Client 连接一个Server. 二.什么时候需要考虑粘包问题? 1.如果利用tcp每次发送数据,就与对方建立连接,然后双

关于TCP的粘包和拆包

问题产生 一个完整的业务可能会被TCP拆分成多个包进行发送,也有可能把多个小的包封装成一个大的数据包发送,这个就是TCP的拆包和封包问题. 下面可以看一张图,是客户端向服务端发送包: 1. 第一种情况,Data1和Data2都分开发送到了Server端,没有产生粘包和拆包的情况. 2. 第二种情况,Data1和Data2数据粘在了一起,打成了一个大的包发送到Server端,这个情况就是粘包. 3. 第三种情况,Data2被分离成Data2_1和Data2_2,并且Data2_1在Data1之前到

Linux下多进程服务端客户端模型二(粘包问题与一种解决方法)

一.Linux发送网络消息的过程 (1) 应用程序调用write()将消息发送到内核中 ( 2)内核中的缓存达到了固定长度数据后,一般是SO_SNDBUF,将发送到TCP协议层 (3)IP层从TCP层收到数据,会加上自己的包头然后发送出去.一般分片的大小是MTU(含IP包头),而IPV4下IP的包头长度为40,而IPV6下为60,因此,TCP中分片后,有效的数据长度为MSS = MTU - 40 或 MSS = MTU -60 (4)最终经过其他层的包装,发送到公网上,跑来跑去,这时候,你的数据

用readn与written实现解决粘包问题

总结一些我们在平时使用vim编辑器的一些实用功能,后续会一直更新. 1.  visual插件 visual插件其实相当于一个书签作用,比如我们在一篇很长的源代码文件中,我们可以标记一行,然后后来我们再想回到这一行时,只需要一个快捷键就能迅速定位到这一行,非常方便,不用不停地往上或往下翻. 1.1  常用命令 1.  mm标记一个标签: 2.  F2回到被标记的那一行: 3.  连续按两次mm就可以取消标签: 4.  shift+F2可以在几个标签来回切换: 2.  emmet.vim插件 emm