python--(socket与粘包解决方案)

python--(socket与粘包解决方案)

一.socket:
    Socket 是任何一种计算机网络通讯中最基础的内容。例如当你在浏览器地址栏中输入 http://www.cnblogs.com/ 时，你会打开一个套接字，然后连接到 http://www.cnblogs.com/ 并读取响应的页面然后然后显示出来。而其他一些聊天客户端如 gtalk 和 skype 也是类似。任何网络通讯都是通过 Socket 来完成的
        打开 => 读写 => 关闭

socket ftp传输:

import socket
server = socket.socket()  #创建一个手机#创建了一个socket对象
ip_port = ('192.168.15.113',8001)  #创建了一张电话卡
server.bind(ip_port) #插上电话卡#绑定IP地址和端口
 
server.listen() #开机#监听IP地址和端口
conn, addr = server.accept()  #等着别人给我打电话,阻塞住#等待客链接
from_client_msg = conn.recv(1024) #接收消息#1024为消息大小,单位B,MB = 1024KB,1KB = 1024B
from_client_msg = from_client_msg.decode('utf-8')#接收的消息是bytes类型,需要转换为字符串
print(from_client_msg)
 
conn.send('死鬼,十点'.encode('utf-8'))  #发送消息
 
conn.close()#关闭链接
server.close()

socket ftp传输,服务端

import socket
client = socket.socket()
server_ip_port = ('192.168.15.113',8001)
client.connect(server_ip_port)#链接服务端
 
client.send('约吗'.encode('utf-8')) #发消息#send里面的消息必须是字节类型的
 
from_server_msg = client.recv(1024) #阻塞住,等待接收消息
from_server_msg = from_server_msg.decode('utf-8')
print(from_server_msg)
 
client.close()

socket ftp传输,客户端

socket udp传输:

import socket
udp_server = socket.socket(type=socket.SOCK_DGRAM)  #创建一个udp协议下的socket,需要使用参数type#DGRAM : datagram  数据报
ip_port = ('192.168.15.113',8001)#拿到一个地址,启动程序的时候,告诉电脑,你给我这个程序分配8001端口.
udp_server.bind(ip_port) #绑定IP地址和端口
 
from_client_msg,client_addr = udp_server.recvfrom(1024)#阻塞住了,接收客户端消息#from_client_msg来自客户端的消息,client_addr客户端的地址('192.168.15.113', 8001)
 
udp_server.sendto(b'gunduzi',client_addr)#发送消息
 
udp_server.close()#关闭udp的socket对象

socket udp传输,服务端

import socket
udp_client = socket.socket(type=socket.SOCK_DGRAM)
server_ip_port = ('192.168.15.113',8001)
 
udp_client.sendto(b'hello',server_ip_port)
 
from_server_msg,server_addr = udp_client.recvfrom(1024)
print(from_server_msg)
print(server_addr)
 
udp_client.close()

socket udp传输,客户端

socketserver:

　　它是在socket的基础上进行了一层封装，也就是说底层还是调用的socket，在py2.7里面叫做SocketServer也就是大写了两个S，在py3里面就小写了。需要用它来实现并发，也就是同时可以和多个客户端进行通信，多个人可以同时进行上传下载等。

import socketserver
 
class MyServer(socketserver.BaseRequestHandler)
#1.定义一个类,2.类里面继承socketserve.BaseRequestHandler
 
    def handle(self):   #类里面定义一个handle方法,handle名称不能变
        while 1:
            from_client_data = self.request.recv(1024).decode("utf-8")
        # self.request      #conn链接通道
 
            print(from_client_data)
            server_input = ("辉哥说>>>>")
            self.request.send(server_input.encode("utf-8"))
        # self.request.send(server_input.encode("utf-8")
        # self.request.close()
 
if __name__ == "__main__":
    ip_port = ('127.0.0.1',8001)#服务端的ip地址和端口
    socketserver.TCPServer.allow_reuse_address = True
 
    server = socketserver.ThreadingTCPServer(ip_port, MyServer)# 绑定IP地址和端口,并且启动我定义的上面这个类
 
    server.serve_forever()#永久的给我执行下去

服务端代码解析

import socket
 
tcp_client = socket.socket()
server_ip_port = ('127.0.0.1',8001)
tcp_client.connect(server_ip_port)
while 1:
    client_msg = input('大阳哥>>>')
    tcp_client.send(client_msg.encode('utf-8'))
 
    from_server_msg = tcp_client.recv(1024).decode('utf-8')
    print(from_server_msg)
 
tcp_client.close()

客户端代码解析

---

socket相关常用操作:

sk.bind(address)
　　s.bind(address)
将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host, port）的形式表示地址。
 
sk.listen(backlog)
　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列
 
sk.setblocking(bool)
　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
 
sk.accept()
　　接受连接并返回（conn, address）, 其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
　　接收TCP
客户的连接（阻塞式）等待连接的到来
 
sk.connect(address)
　　连接到address处的套接字。一般，address的格式为元组（hostname, port）, 如果连接出错，返回socket.error错误。
 
sk.connect_ex(address)
　　同上，只不过会有返回值，连接成功时返回
0 ，连接失败时候返回编码，例如：10061
 
sk.close()
　　关闭套接字
 
sk.recv(bufsize[, flag])
　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
 
sk.recvfrom(bufsize[.flag])
　　与recv()
类似，但返回值是（data, address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
 
sk.send(string[, flag])
　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
 
sk.sendall(string[, flag])
　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
内部通过递归调用send，将所有内容发送出去。
 
sk.sendto(string[, flag], address)
　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
 
sk.settimeout(timeout)
　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如
client
连接最多等待5s ）
 
sk.getpeername()
　　返回连接套接字的远程地址。返回值通常是元组（ipaddr, port）。
 
sk.getsockname()
　　返回套接字自己的地址。通常是一个元组(ipaddr, port)
 
sk.fileno()
　　套接字的文件描述符

---

二.粘包

缓冲区 : 暂时存放传输数据的,防止你的程序在发送数据的时候卡住,提高代码运行效率

输入缓冲区:recv

输出缓冲区:send

缓冲区有长度限制

MTU:最大传输单元,网络层限制是1500B,每次发送数据的时候最好不要超过这个数

粘包现象:

1 连续发送小的数据,间隔时间很短,有可能一次就接收到了这几个连续的拼接在一起的小数据.  #原因:为了提高tcp传输效率,内部提供了一个叫做Nagel算法,他的意思就是为了避免你连续发送小的数据.

2 当你一次接收的数据长度小于你一次发送的数据长度,那么一次接受完剩下的数据会在下一次接收数据的时候被一起接收.#原因面向流的传输

粘包的根本原因:

两端互相不知道对方发送数据的长度

解决方案一:
发送消息之前,先计算要发送消息的长度,然后先将消息长度发送过去,对方给你回一个确认收到长度的信息,然后根据接收到的消息长度来修改自己一次接收消息的大小
这个过程多了一次交互.

解决方案二:

struct:

import struct
num = 156
#将int类型的数据打包成4个字节的数据
num_stru = struct.pack('i',num)
print(len(num_stru))
print(num_stru)
print('')
 
#在通过int类型解包,将前面打包的数据解包成打包之前的int数据
num2 = struct.unpack('i',num_stru) #解包出来是个元组
print(num2)#(156,)
print(num2[0])

神奇的打包工具struck

 
ftp传输 案例:

服务端:
import  socketserver
# 服务端
 
class Myserver(socketserver.BaseRequestHandler):
 
    def handle(self):
 
        conn = self.request
        conn.sendall(bytes("你好，我是孔二楞",encoding="utf-8"))
        while True:
            ret_bytes = conn.recv(1024)
            ret_str = str(ret_bytes,encoding="utf-8")
            if ret_str == "q":
                break
            conn.sendall(bytes(ret_str+"你真无聊~",encoding="utf-8"))
 
if __name__ == "__main__":
    server = socketserver.ThreadingTCPServer(("192.168.15.70",8080),Myserver)
    server.serve_forever()
 
客户端:
import socket
 
obj = socket.socket()
 
obj.connect(("192.168.15.70",8080))
 
ret_bytes = obj.recv(1024)
ret_str = str(ret_bytes,encoding="utf-8")
print(ret_str)
 
while True:
    inp = input("你好请问您有什么问题？ \n >>>")
    if inp == "q":
        obj.sendall(bytes(inp,encoding="utf-8"))
        break
    else:
        obj.sendall(bytes(inp, encoding="utf-8"))
        ret_bytes = obj.recv(1024)
        ret_str = str(ret_bytes,encoding="utf-8")
        print(ret_str)

案例一 自动回复聊天

import socket
import struct
import json
import os
tcp_server = socket.socket()
ip_port = ('127.0.0.1',8001)#本机回环地址,供内部程序之间测试用
tcp_server.bind(ip_port)
tcp_server.listen()
client_file_path = r'F:\pp'
 
conn,adddr = tcp_server.accept()
file_info_stru = conn.recv(4)#首先接收到文件信息长度转换出来的4个字节的数据
file_info_len = struct.unpack('i',file_info_stru)[0]#解包文件信息的长度
client_file_info = conn.recv(file_info_len).decode('utf-8')
abc_file_info = json.loads(client_file_info)#将接收到的json字符串反序列化
print('abc_file_info>>>',abc_file_info)
client_file_size = abc_file_info['file_size']
 
recv_all_size = 0
client_full_path = client_file_path + '\\' + abc_file_info['file_name']
# client_full_path = os.path.join(client_file_path,abc_file_info['file_name'])
with open(client_full_path,'wb') as f:
    while recv_all_size < client_file_size:
        every_recv_data = conn.recv(1024)
        f.write(every_recv_data)
        recv_all_size += len(every_recv_data)
 
conn.send('小伙牛逼啊,上传成功!'.encode('utf-8'))
conn.close()
tcp_server.close()

案例二 大于10M文件上传服务端

import socket
import struct
import json
import os
tcp_client = socket.socket()
server_client = socket.socket()
server_ip_port = ("127.0.0.1",8001)
tcp_client.connect(server_ip_port)
read_size = 1024
 
file_info = {
    'file_path':r'F:\untitled\10.18\jj\aaa.mp4',
    'file_name':'aaa.mp4',
    'file_size':None,
}
file_size = os.path.getsize(file_info["file_path"])#获取文件大小
file_info["file_size"] = file_size#将文件大小添加到文件信息的字典中
file_info_json = json.dumps(file_info)#因为我们要发送的数据是字节类型,那么必须将字典转换为bytes类型,但字典不能直接转换为byte,所以用过先转换成字符串
file_info_len = len(file_info_json) #获取字符串的长度
file_info_stru = struct.pack("i",file_info_len)#将长度打包为四个字节
tcp_client.send(file_info_stru)#将打包好的4个自己的数据和我的文件信息数据一起发送给了服务端
tcp_client.send(file_info_json.encode("utf-8"))
 
all_file_data = b'' #统计文件数据
all_size_len = 0    #统计文件数据长度
 
with open(file_info['file_path'],'rb') as f:
    while all_size_len < file_size:
        every_read_data = f.read(read_size)
        all_file_data += every_read_data
        all_size_len += len(every_read_data)
        tcp_client.send(every_read_data)#发送每次读取的数据
 
print(tcp_client.recv(1024).decode('utf-8'))
tcp_client.close()

案例二 大于10M文件上传客户端

import socket
import subprocess
import struct
server = socket.socket()
ip_port = ("192.168.15.33",8001)
server.bind(ip_port)
server.listen()
conn,addr = server.accept()
 
while 1:
    print("等待接收消息...")
    from_client_cmd = conn.recv(1024).decode("utf-8")#接收客户端消息
    print(from_client_cmd)
 
    sub_obj = subprocess.Popen(   #通过subprocess模块执行服务端指令,并拿到指令结果
        from_client_cmd,            #客户端指令
        shell = True,
        stdout = subprocess.PIPE,   #标准输出:正确指令的执行结果
        stderr = subprocess.PIPE,   #标准错误输出:错误指令的执行结果
    )
 
    server_cmd_msg = sub_obj.stdout.read()
    #server_cmd_msg = sub_obj.stderr.read() #接收到的返回信息是bytes类型,并且windoes系统的默认编码为gbk
    cmd_msg_len = len(server_cmd_msg) #计算你要发送的数据长度
    msg_len_stru = struct.pack("i",cmd_msg_len)#先对数据长度进行打包,打包成4个字节的数据,目的是为了和你将要发送的数据拼接在一起,就像我们自制一个消息头.
    conn.send(msg_len_stru)        #首先发送打包成功后的那4个字节的数据
    conn.sendall(server_cmd_msg)   #循环send数据,直到数据全部发送成功
 
conn.close()
server.close()

案例三 解决粘包问题服务端

import socket
import struct
client = socket.socket()
server_ip_port = ("192.168.15.33",8001)
client.connect(server_ip_port)
 
while 1:
    msg = input("请输入要执行的命令>>>>>")
    client.send(msg.encode("utf-8"))
 
    from_server_msglen = client.recv(4)#先接受服务端要发送给我的数据长度,前四个字节,固定的
    unpack_len_msg = struct.unpack("i",from_server_msglen)[0]
 
    recv_msg_len = 0
    all_msg = b""
    while recv_msg_len < unpack_len_msg:
        every_recv_date = client.recv(1024)
        all_msg += every_recv_date  #将每次接收到的数据进行拼接和统计
        recv_msg_len += len(every_recv_date) #对每次接受到的数据进行累加
 
    print(all_msg.decode("gbk"))
client.close()

案例三 解决粘包问题客户端