进程初识和multiprocessing模块之Process

一、什么是进程
进程就是运行中的程序

进程是操作系统中最小的资源分配单位

进程与进程之间的关系 ： 数据隔离的

进程的id：Process id = pid
pid是一个全系统唯一的对某个进程的标识，随着这个进程的重启pid可能会变化

程序与进程的区别
程序是指令和数据的有序集合，其本身没有任何运行的含义，是一个静态的概念。
而进程是程序在处理机上的一次执行过程，它是一个动态的概念。
程序可以作为一种软件资料长期存在，而进程是有一定生命期的。
程序是永久的，进程是暂时的。

进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。

狭义定义：进程是正在运行的程序的实例（an instance of a computer program that is being executed）。
广义定义：进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。

进程

第一，进程是一个实体。每一个进程都有它自己的地址空间，一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。
第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操作系统执行之），它才能成为一个活动的实体，我们称其为进程。[3]
进程是操作系统中最基本、重要的概念。是多道程序系统出现后，为了刻画系统内部出现的动态情况，描述系统内部各道程序的活动规律引进的一个概念,所有多道程序设计操作系统都建立在进程的基础上。

概念

动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。
并发性：任何进程都可以同其他进程一起并发执行
独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位；
异步性：由于进程间的相互制约，使进程具有执行的间断性，即进程按各自独立的、不可预知的速度向前推进
结构特征：进程由程序、数据和进程控制块三部分组成。
多个不同的进程可以包含相同的程序：一个程序在不同的数据集里就构成不同的进程，能得到不同的结果；但是执行过程中，程序不能发生改变。

特征

二、进程的调度
要想多个进程交替运行，操作系统必须对这些进程进行调度，这个调度也不是随即进行的，而是需要遵循一定的法则，由此就有了进程的调度算法。

1、先来先服务
先来先服务（FCFS）调度算法是一种最简单的调度算法，该算法既可用于作业调度，也可用于进程调度。FCFS算法比较有利于长作业（进程），而不利于短作业（进程）。
由此可知，本算法适合于CPU繁忙型作业，而不利于I/O繁忙型的作业（进程）。

2、短作业优先
短作业（进程）优先调度算法（SJ/PF）是指对短作业或短进程优先调度的算法，该算法既可用于作业调度，也可用于进程调度。但其对长作业不利；不能保证紧迫性作业（进程）被及时处理；
作业的长短只是被估算出来的。

3、时间片轮转法
时间片轮转(Round Robin，RR)法的基本思路是让每个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中，需要将CPU的处理时间分成固定大小的时间片，
例如，几十毫秒至几百毫秒。如果一个进程在被调度选中之后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放自己所占有的CPU而排到就绪队列的末尾，等待下一次调度。
同时，进程调度程序又去调度当前就绪队列中的第一个进程。

4、多级反馈队列
前面介绍的各种用作进程调度的算法都有一定的局限性。如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，而且如果并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将无法使用。而多级反馈队列调度算法则不必事先知道各种进程所需的执行时间，而且还可以满足各种类型进程的需要，因而它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中，调度算法的实施过程如下所述。

(1) 应设置多个就绪队列，并为各个队列赋予不同的优先级。第一个队列的优先级最高，第二个队列次之，其余各队列的优先权逐个降低。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。
(2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，如它能在该时间片内完成，便可准备撤离系统；如果它在一个时间片结束时尚未完成，调度程序便将该进程转入第二队列的末尾，再同样地按FCFS原则等待调度执行；如果它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长作业(进程)从第一队列依次降到第n队列后，在第n 队列便采取按时间片轮转的方式运行。
(3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。如果处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分配给新到的高优先权进程。

三、进程的并行与并发
并行 : 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；（资源够用，比如三个线程，四核的CPU ）
并发 : 并发是指资源有限的情况下，在一个时间段内两者交替轮流使用资源，比如一个单核CPU资源一次只能给一个进程使用，A使用一段时间后，让给B，B用完继续给A ，交替使用，目的是提高效率。

区别:

你吃饭吃到一半，电话来了，你一直到吃完了以后才去接，这就说明你不支持并发也不支持并行。
你吃饭吃到一半，电话来了，你停了下来接了电话，接完后继续吃饭，这说明你支持并发。
你吃饭吃到一半，电话来了，你一边打电话一边吃饭，这说明你支持并行。

并发的关键是你有处理多个任务的能力，不一定要同时。
并行的关键是你有同时处理多个任务的能力。
所以我认为它们最关键的点就是：是否是『同时』。

并行与并发的区别

四、同步异步阻塞非阻塞
1、三状态介绍：

在程序运行的过程中，由于被操作系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。
1、就绪(Ready)状态
当进程已分配到除CPU以外的所有必要的资源，只要获得CPU便可立即执行，这时的进程状态称为就绪状态。

2、执行/运行（Running）状态
当进程已获得处理器，其程序正在处理器上执行，此时的进程状态称为执行状态。

3、阻塞(Blocked)状态
正在执行的进程，由于等待某个事件发生而无法执行时，便放弃处理器而进入阻塞状态。引起进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。

2、同步异步
同步：两件事 一件做完了再去做另一件事儿
例如：我先去洗衣服(手洗)，洗完衣服再去做饭

异步：两件事情同时做
例如：我有洗衣机了，我可以打开洗衣机，在洗衣机洗衣服的时候，我去做饭

3、阻塞和非阻塞
阻塞：例如socket编程中，服务端使用accept，就是阻塞，它会在那里一直等待客户端来连接它
比如：你在洗衣服的时候没有洗衣粉，等待洗衣粉而停止。

非阻塞：例如socket编程中，服务端对象使用setblocking(True)，在accept的时候不会进行等待，而是继续向下运行
比如：有洗衣粉了，可以直接洗衣粉

同步阻塞 ：不能充分利用CPU(效率最低)
比如：你在洗衣服的时候，没有洗衣粉了，等待洗衣粉而停止，有洗衣粉后，洗完衣服了，然后去做饭，又没有米了，等待米而停止

异步非阻塞 : 过度利用CPU(效率很高)
比如：你在洗衣服的时候，没有洗衣粉了，但是你不停止，而是直接开洗衣机洗衣服，同时在做饭的时候，又没有米了，你也直接煮

五、进程的创建与结束
创建
而对于通用系统（跑很多应用程序），需要有系统运行过程中创建或撤销进程的能力，主要分为4中形式创建新的进程：
1. 系统初始化

2. 一个进程在运行过程中开启了子进程

3. 用户的交互式请求，而创建一个新进程（如用户QQ）

4. 一个批处理作业的初始化（只在大型机的批处理系统中应用）

无论哪一种，新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。　

结束
1. 正常退出（自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess）

2. 出错退出（自愿，python a.py中a.py不存在）

3. 严重错误（非自愿，执行非法指令，如引用不存在的内存，1/0等，可以捕捉异常，try...except...）

4. 被其他进程杀死（非自愿）

六、multiprocessing模块
1、模块介绍
Process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化得到的对象，表示一个子进程中的任务（尚未启动）

强调：
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

参数介绍：
1 group参数未使用，值始终为None
2 target表示调用对象，即子进程要执行的任务
3 args表示调用对象的位置参数元组，args=(1,2,'a',)
4 kwargs表示调用对象的字典,kwargs={'name':'ming','age':18}
5 name为子进程的名称

方法介绍
1、 p.start()：启动进程，并调用该子进程中的p.run()
2、 p.run():进程启动时运行的方法，正是它去调用target指定的函数，我们自定义类的类中一定要实现该方法
3、 p.terminate():强制终止进程p，不会进行任何清理操作，如果p创建了子进程，该子进程就成了僵尸进程，使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放，进而导致死锁
4、 p.is_alive():如果p仍然运行，返回True
5、 p.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。即父进程等待子进程执行完毕后，再继续执行自己后续的代码。timeout是可选的超时时间，需要强调的是，p.join只能join住start开启的进程，而不能join住run开启的进程  

属性介绍

1、 p.daemon：默认值为False，如果设为True，代表p为后台运行的守护进程，当p的父进程终止时，p也随之终止，并且设定为True后，p不能创建自己的新进程，必须在p.start()之前设置
2、 p.name:进程的名称
3、 p.pid：进程的pid
4、 p.exitcode:进程在运行时为None、如果为–N，表示被信号N结束(了解即可)
5、 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性，这类连接只有在具有相同的身份验证键时才能成功（了解即可）

在windows中使用需要注意
在Windows操作系统中由于没有fork(linux操作系统中创建进程的机制)，在创建子进程的时候会自动 import 启动它的这个文件，而在 import 的时候又执行了整个文件。因此如果将process()直接写在文件中就会无限递归创建子进程报错。
所以必须把创建子进程的部分使用if __name__ =='__main__' 判断保护起来，import 的时候  ，就不会递归运行了。

例子：

import os
import time
from multiprocessing import Process

def func(arg):
    time.sleep(0.5)
    print('子进程%s,子进程id:%s,父进程id:%s' % (arg, os.getpid(), os.getppid()))  # os.getpid当前进程id,os.getppid父进程id  注意与属性p.pid的区分

if __name__ == '__main__':
    p = Process(target=func, args=(1,))  # 实例化一个进程，Process是一个类
    p.start()
    print('主进程id:%s,主进程的父进程id:%s,子进程id:%s' % (os.getpid(), os.getppid(), p.pid))

######################
import os
import time
from multiprocessing import Process

def func(age, home):
    time.sleep(0.5)
    print("位置参数：%s" % age)
    print("关键字参数：%s" % home)

if __name__ == '__main__':
    p = Process(target=func, name="fff", args=(18,), kwargs={"home": "hz"})
    p.start()
    print("子进程名称：%s" % p.name)  # fff

2、数据隔离
import os
from multiprocessing import Process
count = 100
def func():
    global count
    count -= 1
    print('子进程：',count)

if __name__ == '__main__':
    print('主进程',os.getpid(),os.getppid())
    p = Process(target=func)
    p.start()
    print('主进程：',count)

结果：
主进程 8316 5512
主进程： 100
子进程： 99

3、启动多个子进程(子进程的执行顺序不是根据启动顺序决定的)
import os
from multiprocessing import Process
def func(arg):
    print('子进程%s :'%arg ,os.getpid(),os.getppid())

if __name__ == '__main__':
    for i in range(10):
        Process(target=func,args=(i,)).start()

4、子进程和父进程之间的关系
1.父进程和子进程的启动是异步的
父进程只负责通知操作系统启动子进程
接下来的工作由操作系统接手 父进程继续执行自己的代码

2.父进程执行完毕之后并不会直接结束程序，
而是会等待所有的子进程都执行完毕之后才结束
父进程要负责回收子进程的资源

import time
import os
from multiprocessing import Process
def func(arg):
    print('子进程%s :'%arg ,os.getpid(),os.getppid())
    time.sleep(5)
    print('子进程end')

if __name__ == '__main__':
    for i in range(10):
        Process(target=func,args=(i,)).start()
    print('父进程。。。')

5、join：父进程等待子进程结束后才继续执行自己后续的代码
import time
from multiprocessing import Process

def func(name):
    print('Myname is:', name)
    time.sleep(1)
    print('我是子进程')

if __name__ == '__main__':
    p = Process(target=func, args=('xiaoming',))
    p.start()
    p.join()
    print('我是父进程')

# 结果：子进程执行完毕后，才继续执行父进程后续的代码
# Myname is: xiaoming
# 我是子进程
# 我是父进程

# 正常模式下
import time
from multiprocessing import Process

def func(name):
    print('Myname is:', name)
    time.sleep(1)
    print('我是子进程')

if __name__ == '__main__':
    p = Process(target=func, args=('xiaoming',))
    p.start()
    print('我是父进程')

# 结果：父进程和子进程异步执行
# 我是父进程
# Myname is: xiaoming
# 我是子进程

####### run和start的区别 ######
"""
run() 方法并不是启动一个新线程，就是在主线程中调用了一个普通函数而已。
start() 方法是启动一个子线程，线程名就是自己定义的name。
因此，如果你想启动多线程，就必须使用start()方法。
"""
import time
from multiprocessing import Process

def func(name):
    print('Myname is:', name)
    time.sleep(1)
    print('我是子进程')

if __name__ == '__main__':
    p = Process(target=func, args=('xiaoming',))
    p.run()  # 只是正常执行func函数，不是新建进程去执行
    # 上面的p.run等于在这里直接执行函数
    # func('xiaoming')
    print('我是父进程')

# 结果：
# Myname is: xiaoming
# 我是子进程
# 我是父进程