1. 阻塞与非阻塞

执行的角度:

​ 阻塞:阻塞调用是指调用结果返回之前,当前线程会被挂起(如遇到io操作)。函数只有在得到结果之后才会将阻塞的线程激活。

​ 非阻塞:程序没有遇到IO阻塞,或者程序遇到IO,通过某种方式,让CPU强行运行程序。

2. 同步与异步

发布的角度:

​ 同步调用:在发出一个任务时,自任务开始运行直到结束(可能遇到IO),只有返回一个返回值之后,才会发出下一个任务。

​ 异步调用:一次发布多个任务,然后就直接执行下一行代码。不用等待结束。

shutdown:

  1. 让主进程等待进程池中所有的子进程都结束后,再执行。

    2. 在上一个进程池没有完成所有的任务之前,不允许添加新任务。

一个任务是通过一个函数实现的,任务完成了,它的返回值就是函数的返回值。

2.1 异步调用

# 异步调用
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
import time
import random
import os def task(i):
print(f'{os.getpid()}开始任务')
time.sleep(random.randint(1,2))
print(f'{os.getpid()}任务结束')
return i if __name__ == '__main__':
pool = ProcessPoolExecutor() # 4个进程
for i in range(10):
pool.submit(task, i)
pool.shutdown(wait=True)
print("===主")

2.2 同步调用

result() :将异步调用变成同步,必须等到任务完成,返回结果后,再执行下一个。能够接收返回值。

# 同步调用

from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
import time
import random
import os def task(i):
print(f'{os.getpid()}开始任务')
time.sleep(random.randint(1,2))
print(f'{os.getpid()}任务结束')
return i if __name__ == '__main__':
pool = ProcessPoolExecutor()
for i in range(10):
obj = pool.submit(task, i) # 动态对象,能够返回当前对象的状态, running、peeding、finishhed三种状态。
print(f'任务结果:{obj.result()}') # 将返回的结果打印
pool.shutdown(wait=True)
print("===主")

2.3 异步调用回收的第一种方式

统一回收结果,不能够马上接收任何一个返回值(实时)。

# 异步调用 接收返回值的第一种方式:
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import time
import random
import os def task(i):
print(f'{os.getpid()}开始任务')
time.sleep(random.randint(1,3))
print(f'{os.getpid()}任务结束')
return i if __name__ == '__main__': # 异步调用
pool = ProcessPoolExecutor() # 4个进程
l1 = []
for i in range(10):
obj = pool.submit(task,i)
l1.append(obj) # 将对象放入容器中。 pool.shutdown(wait=True)
print(l1)
for i in l1:
print(i.result())
print('===主')

3. 异步调用+回调函数

3.1 requests模块

​ 浏览器原理:向服务端发送一个请求,服务端验证,如果是正确的,会返回一个文件;浏览器接收到文件,将文件里面的代码渲染后展示到屏幕上。

爬虫:

​ 1.利用代码模拟浏览器发送伪装的请求,会得到一堆源代码;

​ 2.对源代码进行数据清洗得到想要的数据。

3.2 异步调用回收的第二种方式

要求:

  1. 要做到实时回收结果,第一种方式没有实时。
  2. 并发执行任务,只是用来处理IO阻塞的(爬虫也是阻塞),不能增加新的功能(清洗数据功能),否则容易造成耦合。

解决:增加回调函数。

回调函数:按顺序接收每个任务的结果,进行下一步的数据处理。 对象. add_done_callback(方法名)

异步处理IO类型,回调函数处理非IO,才可用异步 + 调用。

线程 + 回调:将处理的数据交给空闲的线程去执行;

进程 + 回调:将处理的数据交给主进程去执行。

from concurrent.futurse import ThreadPoolExecutor
import requests def task(url):
"""模拟爬取多个源代码,有IO操作"""
response = requests.get(url)
if response.status_code == 200:
return response.text def parse(obj):
"""模拟对数据进行分析,一般没有IO"""
print(len(obj.result())) if __name__ == '__main__':
url_list = [
'http://www.baidu.com',
'http://www.JD.com',
'http://www.JD.com',
'http://www.JD.com',
'http://www.taobao.com',
'https://www.cnblogs.com/jin-xin/articles/7459977.html',
'https://www.cnblogs.com/yzm1017/',
'https://www.cnblogs.com/jin-xin/articles/9811379.html',
'https://www.cnblogs.com/jin-xin/articles/11245654.html',
'https://www.sina.com.cn/']
pool = ThreadPoolExecutor(4) # 4个线程
for url in url_list:
obj = pool.submit(task, url)
obj.add_done_callback(parse) # 回调函数
"""
线程池设置4个线程, 异步发起10个任务,每个任务是通过网页获取源码, 并发执行,
当一个任务完成之后,将parse这个分析代码的任务交由剩余的空闲的线程去执行,你这个线程继续去处理其他任务。
"""
"""
2381
99306
99306
2708
21634
47067
99306
143930
571258
48110
"""

python 37 同步、异步调用的更多相关文章

  1. dubbo同步/异步调用的方式

    我们知道,Dubbo 缺省协议采用单一长连接,底层实现是 Netty 的 NIO 异步通讯机制:基于这种机制,Dubbo 实现了以下几种调用方式: 同步调用(默认) 异步调用 参数回调 事件通知 同步 ...

  2. .Net下的MSMQ(微软消息队列)的同步异步调用

    一.MSMQ简介 MSMQ(微软消息队列)是Windows操作系统中消息应用程序的基础,是用于创建分布式.松散连接的消息通讯应用程序的开发工具.消息队列 和电子邮件有着很多相似处,他们都包含多个属性, ...

  3. pythonのgevent同步异步区别

    #!/usr/bin/env python from urllib import request import gevent from gevent import monkey import time ...

  4. jQuery同步/异步调用后台方法

    $.ajax({ type: "Post", url: "UserManage.aspx/SubmitPage",//页面/方法名 data: "{' ...

  5. ajax 同步异步调用

  6. Python并发编程06 /阻塞、异步调用/同步调用、异步回调函数、线程queue、事件event、协程

    Python并发编程06 /阻塞.异步调用/同步调用.异步回调函数.线程queue.事件event.协程 目录 Python并发编程06 /阻塞.异步调用/同步调用.异步回调函数.线程queue.事件 ...

  7. python 并发编程 同步调用和异步调用 回调函数

    提交任务的两张方式: 1.同步调用 2.异步调用 同步调用:提交完任务后,就在原地等待任务执行完后,拿到结果,再执行下一行代码 同步调用,导致程序串行执行 from concurrent.future ...

  8. C#:Func的同步、异步调用(转)

    实际开发中,对于一些耗时较长的操作,我们往往会将其封装成异步方式调用,以加速系统响应或改善用户体验,下面是一个示例: 有一个现成的类MyMath,里面有一个Add方法: 1 public class ...

  9. 似是而非的JS - 异步调用可以转化为同步调用吗?

    源起 小飞是一名刚入行前端不久的新人,因为进到了某个大公司,俨然成为了学弟学妹眼中'大神',大家遇到js问题都喜欢问他,这不,此时他的qq弹出了这样一条消息 "hi,大神在吗?我有个问题想问 ...

随机推荐

  1. Modify column Vs change column

    引言 I know, we can not rename a column using modify column syntax,but can change column syntax. My qu ...

  2. 微信小程序踩坑日记2——实时访问数据库并渲染UI

    0. 引言 主要讲讲对于实时访问数据库并渲染UI我的解决方法. 一开始查到了随让小程序是单线程的,但是有一个基本上是封装的worker线程,相当于可以自己自定义(类似于Android开发里的handl ...

  3. cachestat 安装文档

    安装环境:ubuntu18.04 安装步骤 1. 打开命令行,输入以下命令 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys ...

  4. 【iOS】CGContextSaveGState: invalid context 0x0. If you want to see the backtrace, please set CG_CONTEXT_SHOW_BACKTRACE environmental variable

    CGContextSaveGState: invalid context 0x0. If you want to see the backtrace, please set CG_CONTEXT_SH ...

  5. [NSNull intValue]: unrecognized selector sent to instance 0x375c9860

    今天遇到这个问题,程序崩溃了……日志如下: -[NSNull intValue]: unrecognized selector sent to instance 0x375c9860*** Termi ...

  6. QScintilla下载与编译

    你好,我是大贺! Pou光明  大家好,我又回来了~~ 之前和大家分享的是在c/c++中通过python c api嵌入python解释器,主体都是和python相关的.其实最终要和大家分享的是如何做 ...

  7. Apache ActiveMQ 实践 <一>

    一.下载最新版本 ActiveMq http://activemq.apache.org/activemq-5152-release.html,下载目录如下: 二.创建项目 1.普通项目 添加 jar ...

  8. 技巧:结合Zabbix与SNMP监控嵌入式设备

    在如何利用Zabbix监控网络设备三篇文章的前两篇中,我们介绍了如何通过Zabbix代理监控网络设备.但有些设备无法安装Zabbix代理,需要采用其他方法监控.需要考虑无法安装软件的嵌入式设备或应用程 ...

  9. Gunicorn-Django部署

    1. 简单部署 1. sudo pip3 install gunicorn 2. cd 到django项目中 sudo python3 manage.py migrate 3.启动服务:sudo py ...

  10. 【有容云干货-容器系列】Kubernetes调度核心解密:从Google Borg说起

    在之前“容器生态圈脑图大放送”文章中我们根据容器生态圈脑图,从下至上从左至右,依次介绍了容器生态圈中8个组件,其中也提到Kubernetes ,是一个以 Google Borg 为原型的开源项目.可实 ...