进程的基础理论、并发(multiprocessing模块)

一、粘包优化方案

之前我们解决粘包的方式是用struct模块来制作一个报头，但是这个解决的方案是有漏洞的，当我们需要传送的文件大于2g时将会报错。所以我们今天将用json来制作报头。

from socket import *
import subprocess
import struct
import json
ss = socket(AF_INET,SOCK_STREAM)
ss.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
ss.bind(('127.0.0.1',8082))
ss.listen(5)

print('starting...')
while True : #链接循环
    conn,addr = ss.accept() #链接，客户的的ip和端口组成的元组
    print('-------->',conn,addr)

    #收，发消息
    while True :#通信循环
        try :
            cmd = conn.recv(1024)
            res = subprocess.Popen(cmd.decode('utf-8'), shell = True,
                                   stdout = subprocess.PIPE,
                                   stderr = subprocess.PIPE)
            stdout = res.stdout.read()
            stderr = res.stderr.read()
            #制作报头
            h_dic = {
                'total_size': len(stdout) + len(stderr),
                'filename': None,
                'md5': None}

            h_json = json.dumps(h_dic)
            h_bytes = h_json.encode('utf-8')
            #发送阶段
            #先发报头长度
            conn.send(struct.pack('i',len(h_bytes)))
            #再发报头
            conn.send(h_bytes)

            #最后发送命令的结果
            conn.send(stdout)
            conn.send(stderr)
        except Exception :
            break
    conn.close()
ss.close()

服务端

服务端

from socket import *
import struct
import json
cs = socket(AF_INET,SOCK_STREAM) #买手机
cs.connect(('127.0.0.1',8082)) #绑定手机卡

#发，收消息
while True :
    cmd = input('>>: ').strip()
    if not cmd : continue

    cs.send(cmd.encode('utf-8'))
    #先收报头的长度
    h_len = struct.unpack('i',cs.recv(4))[0]

    #再收报头
    h_bytes = cs.recv(h_len)
    h_json = h_bytes.decode('utf-8')
    h_dic = json.loads(h_json)
    total_size = h_dic['total_size']

    #最后收数据
    recv_size = 0
    total_data = b''
    while recv_size < total_size :
        recv_data = cs.recv(1024)
        recv_size += len(recv_data)
        total_data += recv_data
    print(total_data.decode('gbk'))
cs.close()

客户端

客户端

二、知识储备

进程的概念起源于操作系统，是操作系统最核心的概念，也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。

对操作系统基础知识比较模糊的可以在阅读本文前预习计算机基础2、操作系统http://www.cnblogs.com/liluning/p/7162317.html

即使可以利用的cpu只有一个（早期的计算机确实如此），也能保证支持（伪）并发的能力。将一个单独的cpu变成多个虚拟的cpu（多道技术：时间多路复用和空间多路复用+硬件上支持隔离），没有进程的抽象，现代计算机将不复存在。

#一 操作系统的作用：
    1：隐藏丑陋复杂的硬件接口，提供良好的抽象接口
    2：管理、调度进程，并且将多个进程对硬件的竞争变得有序

#二 多道技术：
    1.产生背景：针对单核，实现并发
    ps：
    现在的主机一般是多核，那么每个核都会利用多道技术，但是核与核之间没有使用多道技术切换这么一说；
    有4个cpu，运行于cpu1的某个程序遇到io阻塞，会等到io结束再重新调度，会被调度到4个cpu中的任意一个，具体由操作系统调度算法决定。

    2.时间上的复用（复用一个cpu的时间片）+空间上的复用（如内存中同时有多道程序）

三、进程

1、进程概念

进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。正在进行的一个过程或者说一个任务。而负责执行任务则是cpu

2、进程和程序

程序仅仅只是一堆代码而已，而进程指的是程序的运行过程。

需要强调的是：同一个程序执行两次，那也是两个进程，比如打开暴风影音，虽然都是同一个软件，但是一个可以播放苍井井，一个可以播放小泽泽。

3、并发与并行

无论是并行还是并发，在用户看来都是'同时'运行的，不管是进程还是线程，都只是一个任务而已，真实干活的是cpu，cpu来做这些任务，而一个cpu同一时刻只能执行一个任务

1） 并发：是伪并行，即看起来是同时运行。单个cpu+多道技术就可以实现并发，（并行也属于并发）

你是一个cpu，你同时谈了三个女朋友，每一个都可以是一个恋爱任务，你被这三个任务共享
要玩出并发恋爱的效果，
应该是你先跟女友1去看电影，看了一会说：不好，我要拉肚子，然后跑去跟第二个女友吃饭，吃了一会说：那啥，我
去趟洗手间，然后跑去跟女友3开了个房

2）同时运行，只有具备多个cpu才能实现并行

单核下，可以利用多道技术，多个核，每个核也都可以利用多道技术（多道技术是针对单核而言的）

有四个核，六个任务，这样同一时间有四个任务被执行，假设分别被分配给了cpu1，cpu2，cpu3，cpu4，

一旦任务1遇到I/O就被迫中断执行，此时任务5就拿到cpu1的时间片去执行，这就是单核下的多道技术

而一旦任务1的I/O结束了，操作系统会重新调用它(需知进程的调度、分配给哪个cpu运行，由操作系统说了算)，可能被分配给四个cpu中的任意一个去执行

4、同步与异步

同步执行：一个进程在执行某个任务时，另外一个进程必须等待其执行完毕，才能继续执行
异步执行：一个进程在执行某个任务时，另外一个进程无需等待其执行完毕，就可以继续执行，当有消息返回时，系统会通知后者进行处理，这样可以提高执行效率

打电话时就是同步通信，发短息时就是异步通信。

四、python的并发编程

1、multiprocessing模块

multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数）

multiprocessing模块的功能众多：支持子进程、通信和共享数据、执行不同形式的同步，提供了Process、Queue、Pipe、Lock等组件

进程没有任何共享状态，进程修改的数据，改动仅限于该进程内。

2、Process类的介绍

1）进程的创建

Process(target = talk,args = (conn,addr))
#由该类实例化得到的对象，表示一个子进程中的任务（尚未启动）

2）参数介绍

group参数未使用，值始终为None

target表示调用对象，即子进程要执行的任务

args表示调用对象的位置参数元组，args=(1,2,'egon',)

kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}

name为子进程的名称

3）方法介绍

p.start()：启动进程，并调用该子进程中的p.run()
p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法  

p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁
p.is_alive():如果p仍然运行，返回True

p.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程

4）属性介绍

p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置

p.name:进程的名称

p.pid：进程的pid

p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)

p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功（了解即可）

3、process类的使用

注意：在windows中Process()必须放到# if __name__ == '__main__':下

1）开启进程的方式一：

from multiprocessing import Process
import time,random
import os
def piao(name):
    print(os.getppid(),os.getpid())
    print('%s is piaoing' %name)
    time.sleep(random.randint(1,3))
    print('%s is piao end' %name)
if __name__ == '__main__':
    p1=Process(target=piao,kwargs={'name':'alex',})
    p2=Process(target=piao,args=('wupeiqi',))
    p3=Process(target=piao,kwargs={'name':'yuanhao',})
    p1.start()
    p2.start()
    p3.start()
    print('主进程',os.getpid())
#os.getppid(),os.getpid()
#父进程id，当前进程id

2）开启进程的方式二：

from multiprocessing import Process
import time,random
import os
class Piao(Process):
    def __init__(self,name):
        super().__init__()
        self.name=name
    def run(self):
        print(os.getppid(),os.getpid())
        print('%s is piaoing' %self.name)
        # time.sleep(random.randint(1,3))
        print('%s is piao end' %self.name)
if __name__ == '__main__':
    p1=Piao('alex')
    p2=Piao('wupeiqi')
    p3=Piao('yuanhao')

    p1.start()
    p2.start()
    p3.start()
    print('主进程',os.getpid(),os.getppid())

4、将基于tcp协议的socket通信变成并发的形式

服务端：

from socket import *
from multiprocessing import Process
s=socket(AF_INET,SOCK_STREAM)
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加
s.bind(('127.0.0.1',8088))
s.listen(5)
def talk(conn,addr):
    while True: #通信循环
        try:
            data=conn.recv(1024)
            if not data:break
            conn.send(data.upper())
        except Exception:
            break
    conn.close()
if __name__ == '__main__':
    while True:#链接循环
        conn,addr=s.accept()
        p=Process(target=talk,args=(conn,addr))
        p.start()
    s.close()

客户端：

from socket import *
c=socket(AF_INET,SOCK_STREAM)
c.connect(('127.0.0.1',8088))

while True:
    msg=input('>>: ').strip()
    if not msg:continue
    c.send(msg.encode('utf-8'))
    data=c.recv(1024)
    print(data.decode('utf-8'))
c.close()