socket网络编程

一.客户端/服务器架构

C/S架构，包括

1.硬件C/S架构（打印机）

2.软件C/S架构（Web服务）

最常用的软件服务器就是Web服务器，一台机器里放了一些网页或Web应用程序，然后启动服务，这样的服务器的任务就是接受客户的请求，把网页发给客户，然后等待下一个客户请求，这些服务启动后的目标就是"永远运行下去",虽然他们不可能实现这样的目标，但只要没有关机或硬件出错等外力干扰，他们就会运行非常长的一段时间。

二.osi七层。

须知一个完整的计算机系统是由硬件，操作系统，应用软件三者组成，具备了这三个条件，一台计算机就可以跟自己玩了，比如打个单机游戏，什么的

如果你需要跟别人一起玩，那你就需要上网了，，互联网的核心就是有一个个协议组成，协议就是标准，全世界人通信的标准是英语，如果把计算机比作人，互联网就是计算机界的英语，所有的计算机都学会了互联网协议，那么所有的计算机都可以按照统一的标准去收发信息，从而完成通信了，人们把按照不同分工把互联网协议从逻辑上划分了层级，

osi各层功能：

1.物理层（Physical Layer）

物理层是OSI参考模型的最低层，它利用传输介质为数据链路层提供物理连接。它主要关心的是通过物理链路从一个节点向另一个节点传送比特流，物理链路可能是铜线、卫星、微波或其他的通讯媒介。它关心的问题有：多少伏电压代表1？多少伏电压代表0？时钟速率是多少？采用全双工还是半双工传输？总的来说物理层关心的是链路的机械、电气、功能和规程特性。

2.数据链路层（Data Link Layer）

数据链路层是为网络层提供服务的，解决两个相邻结点之间的通信问题，传送的协议数据单元称为数据帧。

数据帧中包含物理地址（又称MAC地址）、控制码、数据及校验码等信息。该层的主要作用是通过校验、确认和反馈重发等手段，将不可靠的物理链路转换成对网络层来说无差错的数据链路。

此外，数据链路层还要协调收发双方的数据传输速率，即进行流量控制，以防止接收方因来不及处理发送方来的高速数据而导致缓冲器溢出及线路阻塞

3.网络层（Network Layer）

网络层是为传输层提供服务的，传送的协议数据单元称为数据包或分组。该层的主要作用是解决如何使数据包通过各结点传送的问题，即通过路径选择算法（路由）将数据包送到目的地。另外，为避免通信子网中出现过多的数据包而造成网络阻塞，需要对流入的数据包数量进行控制（拥塞控制）。当数据包要跨越多个通信子网才能到达目的地时，还要解决网际互连的问题。

4.传输层（(Transport Layer）

传输层的作用是为上层协议提供端到端的可靠和透明的数据传输服务，包括处理差错控制和流量控制等问题。该层向高层屏蔽了下层数据通信的细节，使高层用户看到的只是在两个传输实体间的一条主机到主机的、可由用户控制和设定的、可靠的数据通路。

5.会话层(Session Layer)

会话层主要功能是管理和协调不同主机上各种进程之间的通信（对话），即负责建立、管理和终止应用程序之间的会话。会话层得名的原因是它很类似于两个实体间的会话概念。例如，一个交互的用户会话以登录到计算机开始，以注销结束。

6.表示层(Presentation Layer)

表示层处理流经结点的数据编码的表示方式问题，以保证一个系统应用层发出的信息可被另一系统的应用层读出。如果必要，该层可提供一种标准表示形式，用于将计算机内部的多种数据表示格式转换成网络通信中采用的标准表示形式。数据压缩和加密也是表示层可提供的转换功能之一。

7.应用层(Application Layer)

应用层是OSI参考模型的最高层，是用户与网络的接口。该层通过应用程序来完成网络用户的应用需求，如文件传输、收发电子邮件等。

 

三.socket层

socket层

四。socker是什么。

socket是应用层与TCP/IP协议族通信的中间软件抽象层，他是一组接口，在设计模式中，socket其实就是一个门面模式，他把复杂的TCP/IP协议族隐藏在socket接口后面，对用户来说，一组简单的接口就是全部，让socket去组织数据，以符合指定的协议

也有人减socket说成是ip+port，ip是用来标识互联网中的一台主机的位置，而port是用来标识这台机器上的一个应用程序，ip地址就配置到网卡上的，而port是应用程序开启的，ip与port的绑定就标识了互联网中独一无二的一个应用程序

而程序的pid是同一台机器上不同进程或者线程的标识。

五.套接字发展史及分类。

套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。

基于文件类型的套接字家族

套接字家族的名字：AF_UNIX

unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族

套接字家族的名字：AF_INET

(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)

六.套接字工作流程

一个生活中的场景。你要打电话给一个朋友，先拨号，朋友听到电话铃声后提起电话，这时你和你的朋友就建立起了连接，就可以讲话了。等交流结束，挂断电话结束此次交谈。    生活中的场景就解释了这工作原理

先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束

socket()模块函数用法

 import socket
 socket.socket(socket_family,socket_type,protocal=0)
 socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。

 获取tcp/ip套接字
 tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

 获取udp/ip套接字
 udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

 由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。
 例如tcpSock = socket(AF_INET, SOCK_STREAM)

服务断套接字函数

s.bind() 绑定（主机，端口号）到套接字

s.listen() 开始TCP监听

s.accept() 被动接受TCP客户的连接，(阻塞式)等待连接的到来

客户端套接字函数

s.connect() 主动初始化TCP服务器连接

s.connect_ex()  connect()函数的扩展版本，出错时返回错误码，而不是抛出异常

公用用途的套接字函数

s.recv()  接收TCP数据

s.send()  发送TCP数据（send在待发送数据量大于己断缓存区剩余空间时，数据丢失，不会发完）

s.sendall()  发送完整的TCP数据（本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时，数据不丢失，循环调用send直到发完）

s.recvfrom()  接收UDP数据

s.sendto()  发送UDP数据

s.getpeername()  连接到当前套接字的远端地址

s.getsockname()  当前套接字的地址

s.getsockopt()  返回指定套接字的参数

s.setsockopt()  设置指定套接字的参数

s.close()  关闭套接字

面向锁的套接字方法

s.setblocking()  设置套接字的阻塞与非阻塞模式

s.settimeout()  设置阻塞套接字操作的超时时间

s.getimeout()  得到阻塞套接字操作的超时时间

面向文件的套接字的函数

s.filleon()  套接字的文件描述符

s.makefile()  创建一个与该套接字相关的文件

七 基于TCP的套接字

TCP服务端

 import socket
 # socket.socket(socket.AF_INET,socket.SOCK_STREAM,protocal=0)
 # tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  # 创建服务器的套接字
 phone.bind(('192.168.12.37',8080)) # 绑定自己的ip地址，把地址绑定到套接字
 phone.listen(5)  # 监听，可以有几个等待的连接  监听连接
 print('--------------')
 conn,addr = phone.accept()  # 等待连接
 msg = conn.recv(1024)  # 接收消息
 print('客户端发来的消息是：',msg)
 conn.send(msg.upper())  # 给客户端发送消息
 conn.close()  # 关闭客户端套接字
 phone.close()  # 关闭服务器套接字（可选）

TCP客户端

 import socket
 phone = socket.socket(socket.AF_INET,socket.SOCK_STREAM)  # 创建客户套接字
 phone.connect(('192.168.12.56',8000))  # 尝试连接服务器
 phone.send('hellolaiying'.encode('utf-8'))  # 发消息
 data = phone.recv(1024)
 print('收到服务端发来的消息：',data)
 phone.close()  # 关闭客户套接字

上述流程的问题是，服务端只能接受一次连接，然后就彻底关闭掉了，实际情况应该是，服务端不断接收连接，然后循环通信，通信完毕后只关闭连接，服务器能够继续接收下一次连接，下面是修订版

 import socket
 ip_port=('127.0.0.1',8081)#电话卡
 BUFSIZE=1024
 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机
 s.bind(ip_port) #手机插卡
 s.listen(5)     #手机待机

 while True:                         #新增接收链接循环,可以不停的接电话
     conn,addr=s.accept()            #手机接电话
     # print(conn)
     # print(addr)
     print('接到来自%s的电话' %addr[0])
     while True:                         #新增通信循环,可以不断的通信,收发消息
         msg=conn.recv(BUFSIZE)             #听消息,听话

         # if len(msg) == 0:break        #如果不加,那么正在链接的客户端突然断开,recv便不再阻塞,死循环发生

         print(msg,type(msg))

         conn.send(msg.upper())          #发消息,说话

     conn.close()                    #挂电话

 s.close()                       #手机关机

 服务端改进版

 import socket
 ip_port=('127.0.0.1',8081)
 BUFSIZE=1024
 s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

 s.connect_ex(ip_port)           #拨电话

 while True:                             #新增通信循环,客户端可以不断发收消息
     msg=input('>>: ').strip()
     if len(msg) == 0:continue
     s.send(msg.encode('utf-8'))         #发消息,说话(只能发送字节类型)

     feedback=s.recv(BUFSIZE)                           #收消息,听话
     print(feedback.decode('utf-8'))

 s.close()                                       #挂电话

 客户端改进版

问题：

如果在重启服务端时可能会遇到

这个是由于你的服务端仍然存在四次挥手的time_wait状态在占用地址（在tcp三次握手，四次挥手，syn洪水攻击，服务器高并发情况下会有大量的time_wait状态的优化方法）

解决方法一：

#加入一条socket配置，重用ip和端口

phone=socket(AF_INET,SOCK_STREAM)
phone.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8080))

解决方法二：

发现系统存在大量TIME_WAIT状态的连接，通过调整linux内核参数解决，
vi /etc/sysctl.conf

编辑文件，加入以下内容：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

然后执行 /sbin/sysctl -p 让参数生效。

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间

方法二

八.基于UDP的套接字

udp服务端

 ss = socket()  # 创建一个服务器的套接字
 ss.bind()  # 绑定服务器套接字
 while True:
     cs = ss.recvfrom()/ss.sendto()  # 对话（接收与发送）

 ss.close()  # 关闭服务器套接字

udp客户端

 cs = socket()  # 创建客户端套接字
 while True:
     cs.sendto()/cs.recvfrom()  # 对话（发送/接收）
 cs.close()  # 关闭客户端套接字

udp套接字简单示例

 #  服务端
 from socket import *
 ip_prot = ('127.0.0.1',8080)
 buffsize = 1024  # 缓冲区接收的大小
 udp_sever = socket(AF_INET,SOCK_DGRAM)
 udp_sever.bind(ip_prot)
 while True:
     msg,addr = udp_sever.recvfrom(buffsize)
     print('',msg)  # 客户端发送过来的数据
     print('',addr)  # 客户端的ip地址，端口

     udp_sever.sendto(msg.upper(),addr)
 udp_sever.close()

 # #########客户端
 from socket import *
 ip_port = ("127.0.0.1",8080)  # 服务端的地址
 buff_size = 1024  # 缓冲区大小
 udp_client = socket(AF_INET,SOCK_DGRAM)  # 创建udp套接字
 while True:
     msg = input(">>>").strip()
     if not msg:  # 当用户输入为空就跳出当前循环，继续下一次循环
         continue
     udp_client.sendto(msg.encode("utf-8"),ip_port)
     back_msg,addr = udp_client.recvfrom(buff_size)  # 一次接收数据的大小
     print(back_msg.decode("utf-8"),addr)

 udp_client.close()

QQ聊天（由于udp是不可靠传输，无连接，所以可以使用多个客户端去跟服务端通信）

 # ########服务端
 from socket import *
 ip_prot = ('127.0.0.1',8080)
 buffsize = 1024  # 缓冲区接收的大小
 udp_sever = socket(AF_INET,SOCK_DGRAM)
 udp_sever.bind(ip_prot)
 while True:
     msg,addr = udp_sever.recvfrom(buffsize)
     print("来自[%s:%s]的一条消息:\033[1;44m%s\033[0m" %(addr[0],addr[1],msg.decode("utf-8")))
     back_msg = input("服务端回复的消息是:").strip()
     udp_sever.sendto(back_msg.encode("utf-8"),addr)
 udp_sever.close()

#########客户端一
from socket import *
ip_port = ("127.0.0.1",8080)  # 服务端的地址
buff_size = 1024  # 缓冲区大小
udp_client = socket(AF_INET,SOCK_DGRAM)  # 创建udp套接字
qq_name_dic = {
    "二小姐":(ip_port),
    "小妹":(ip_port),
    "帅帅":(ip_port)
}
for i in qq_name_dic:
    print(i)
while True:
    qq_name = input("请选择聊天对象:").strip()
    while True:
        msg = input("请输入消息,回车发送:").strip()
        if msg == "quit":
            break
        if not msg or not qq_name or qq_name not in qq_name_dic:
            continue
        udp_client.sendto(msg.encode("utf-8"),qq_name_dic[qq_name])
        back_msg,addr = udp_client.recvfrom(buff_size)
        print("来自[%s:%s]的一条信息:\033[1;44m%s\033[0m" %(addr[0],addr[1],back_msg.decode("utf-8")))

    udp_client.close()

 ########客户端二
 from socket import *
 ip_port = ("127.0.0.1",8080)  # 服务端的地址
 buff_size = 1024  # 缓冲区大小
 udp_client = socket(AF_INET,SOCK_DGRAM)  # 创建udp套接字
 qq_name_dic = {
     "二小姐":(ip_port),
     "小妹":(ip_port),
     "帅帅":(ip_port)
 }
 for i in qq_name_dic:
     print(i)
 while True:
     qq_name = input("请选择聊天对象:").strip()
     while True:
         msg = input("请输入消息,回车发送:").strip()
         if msg == "quit":
             break
         if not msg or not qq_name or qq_name not in qq_name_dic:
             continue
         udp_client.sendto(msg.encode("utf-8"),qq_name_dic[qq_name])
         back_msg,addr = udp_client.recvfrom(buff_size)
         print("来自[%s:%s]的一条信息:\033[1;44m%s\033[0m" %(addr[0],addr[1],back_msg.decode("utf-8")))

     udp_client.close()

服务端运行结果

客户端一

客户端二

时间服务器

 # ########服务端
 from socket import *
 import time
 ip_port = ("127.0.0.1",8080)
 buffsize = 1024
 ntp_server = socket(AF_INET,SOCK_DGRAM)
 ntp_server.bind(ip_port)
 while True:
     msg,addr = ntp_server.recvfrom(buffsize)
     print("29===",msg)
     if not msg:
         time_fmt = "%Y-%m-%d %X"
     else:
         time_fmt = msg.decode("utf-8")
     back_msg = time.strftime(time_fmt)
     ntp_server.sendto(back_msg.encode("utf-8"),addr)
 ntp_server.close()

ntp客户端

 # ######ntp客户端
 from socket import *
 ip_port = ("127.0.0.1",8080)
 buffsize = 1024
 ntp_client = socket(AF_INET,SOCK_DGRAM)
 while True:
     msg = input("请输入时间格式(例%Y %m %d)>>>").strip()
     ntp_client.sendto(msg.encode("utf-8"),ip_port)
     data,addr = ntp_client.recvfrom(buffsize)
     print(data.decode("utf-8"))
 ntp_client.close()

九.recv和recvfrom的区别

收发消息的原理须知，发消息：都是将数据发送到已端的发送缓冲中，收消息都是缓冲区中收

tcp:send发消息，recv收消息。

udp:sendto发消息，recvfrom收消息。

1.TCP协议：

(1):如果收消息缓冲区里的数据为空，那么recv就会阻塞.

(2):TCP基于可靠连接通信，然后一端断开了连接，那么另外一端的连接也会被迫中断，recv将不会阻塞，收到的是空。

十.沾包现象

我们基于tcp先制作一个远程执行命令的程序