未看 http://blog.csdn.net/yueguanghaidao/article/details/24281751…

虚拟机环境: 设置网络 .修改网络地址 .设置网卡为nat模式 .确保物理机启动dhcp.net服务 .编辑文件:vim /etc/sysconfig/network-scripts/ifcfg-eth0 .ONBOOT=yes .设置IP: static: IPADDR= NETMASK= GATEWAY= .重启网络:service network restart .检查:ping 网关 .ping baidu.com .设置DNS服务 vi /etc/resolv.conf nameser…

目录: 一.queue 二.线程 基本使用 线程锁 自定义线程池 生产者消费者模型(队列) 三.进程 基本使用 进程锁 进程数据共享 默认数据不共享 queues array Manager.dict 进程池 PS: IO密集型-多线程 计算密集型 - 多进程 四.协程 原理:利用一个线程,分解一个线程成为多个“微线程”==>程序级别 greenlet gevent pip3 install gevent 一.queue 1.1 queue用法 # 先进先出队列 # put放数据,是否阻塞,阻塞…

原文地址: http://www.cnblogs.com/wangqiaomei/p/5682669.html 一.queue 二.线程 #基本使用 #线程锁 #自定义线程池 #生产者消费者模型(队列) 三.进程 #基本使用 #进程锁 #进程数据共享 # 默认数据不共享 #queues #array #Manager.dict #进程池 #PS: #IO密集型-多线程 #计算密集型 - 多进程 四.协程 #原理:利用一个线程,分解一个线程成为多个"微线程"==>程序级别 #gre…

python27day23并发编程--------------------------------------------------------------------------------------------多任务处理:使得计算机可以同时处理多个任务 程序:是一个指令的集合进程:正在执行的程序:或者说:当你运行一个程序,你就启动了一个进程编写完的代码,没有运行时,称为程序,正在运行的代码,称为进程程序是死的(静态的),进程是活的(动态的) 操作系统轮流让各个任务交替执⾏ ,由于CPU的…

目录 python day 20: 线程池与协程 2. 线程 3. 进程 4. 协程:gevent模块,又叫微线程 5. 扩展 6. 自定义线程池 7. 实现多进程TCP服务器 8. 实现多线程TCP服务器 9. 协程greenlet和gevent python day 20: 线程池与协程 2019/11/1 资料来自老男孩教育 2. 线程 线程适用于IO密集流操作,线程是最小的执行单元 线程之间数据是共享的,共用一块内存 import threading :导入线程模块 t = thread…

1.1 进程与线程简介 1.什么是进程(process)?(进程是资源集合) 定义:1)进程是资源分配最小单位    2)当一个可执行程序被系统执行(分配内存资源)就变成了一个进程 1. 程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,这种执行的程序就称之为进程 2. 程序和进程的区别就在于:程序是指令的集合,它是进程运行的静态描述文本:进程是程序的一次执行活动,属于动态概念 3. 在多道编程中,我们允许多个程序同时加载到内存中,在操作系统的调度下,可以实现并发地执行. 4…

装饰器 1.什么是装饰器 装饰器本质是函数,用来给其他函数添加新的功能 特点:不修改调用方式.不修改源代码 2.装饰器的作用 装饰器作用:本质是函数(装饰其他函数)就是为其他函数添加其他功能 装饰器必须准寻得原则: 不能修改被装饰函数的源代码.不能修改被装饰函数的调用方式 实现装饰器知识储备: 1.函数即“变量” 2.高阶函数 3.嵌套函数 高阶函数+潜逃函数=>装饰器 3.使用高阶函数模仿装饰器功能 1.定义:把一个函数名当做实参传给另一个函数 2.返回值中包含函数名 3.下面使用高阶函数虽然…

前言 面试题仅做学习参考,学习者阅后也要用心钻研其中的原理,重要知识需要系统学习.透彻学习,形成自己的知识链.以下五点建议希望对您有帮助,早日拿到一份心仪的offer. 做好细节工作,细致的人运气不会差 展现特别可以,但要建立在已充分展示实力的基础上 真诚比圆滑重要,请真诚地回答问题 把握当下,考场外的表现能起的作用微乎其微 没有通过不代表你不优秀,选人先考虑的是与岗位相匹配 Python 三程三器 进程 进程是资源分配的最小单位(内存.CPU.网络.io) 一个运行起来的程序就是一个进程 什么…

四大数据类型的常用方法 列表常用方法 #1. append 用于在列表末尾追加新的对象 a = [1,2,3] a.append(4) #the result : [1, 2, 3, 4] #2. count 方法统计某个元素在列表中出现的次数 a = ['aa','bb','cc','aa','aa'] print(a.count('aa')) #the result : 3 #3. extend 方法可以在列表的末尾一次性追加另一个序列中的多个值 a = [1,2,3] b = [4,5,6…

之前之所以看greenlet的代码实现,主要就是想要看看gevent库的实现代码. .. 然后知道了gevent的协程是基于greenlet来实现的...所以就又先去看了看greenlet的实现... 这里就不说greenlet的详细实现了.关键就是栈数据的复制拷贝,栈指针的位移. .. 由于gevent带有自己的I/O以及定时循环,所以它对greenlet又加了一层的扩展.. . 这里我们用例如以下的代码来举样例,然后再来详细的分析gevent是怎样扩展greenlet的吧: import g…

作者:大U哥链接:https://www.zhihu.com/question/20703476/answer/15911452来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. gevent 比起其他框架(比如tornado,twisted)的一个巨大优势就是:用同步的方法(自然没有回调函数)写异步应用,因为同步的方式更接近开发人员的编程思维.gevent可以用一句话向pythoner阐述:使用多路IO复用对文件描述符的事件监听,从而撬动协程的“透明”切换.这句话说…

gevent GitHub - gevent/gevent: Coroutine-based concurrency library for Python https://github.com/gevent/gevent gevent - 廖雪峰的官方网站 https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001407503089986d175822da68d4d6685fbe8…

gevent是一个异步I/O框架,当遇到I/O操作的时候,会自动切换任务,从而能异步地完成I/O操作 但是在测试的情况下,可以使用sleep函数来让gevent进行任务切换.示例如下: import gevent def test(id): print('Test %s is running...' % id) gevent.sleep(0) print('Test %s is done!' % id) gevent.joinall([gevent.spawn(test, i) for i in…

在使用gevent框架的时候,我们经常会使用join函数,如下: def test1(id): print(id) gevent.sleep(0) print(id, 'is done!') t = gevent.spawn(test1, 't') t1 = gevent.spawn(test1, 't1') t.join() 运行结果: t t1 t is done! t1 is done! 但是join是如何工作的呢.. 于是今天晚上我好好研究了下join函数~ 多的不说,正文开始! joi…

port扫描仪的原理非常easy.没有什么比操作更socket,能够connect它认为,port打开. import socket def scan(port): s = socket.socket() if s.connect_ex(('localhost', port)) == 0: print port, 'open' s.close() if __name__ == '__main__': map(scan,range(1,65536)) 这样一个最简单的端口扫描器出来了. 等等喂,半…

1.websocket 1.websocket 与轮询 轮询: 不断向服务器发起询问,服务器还不断的回复 浪费带宽,浪费前后端资源 保证数据的实时性 长轮询: 1.客户端向服务器发起消息,服务端轮询,放在另外一个地方,客户端去另外一个地方去拿 2.服务端轮询,放在另外一个地方,直接推给客户端 释放客户端资源,服务压力不可避免,节省带宽资源 数据不能实时性 websocket:是一个新的协议 Socket-io 1.前后端hold住 2.建立长链接 彻底解决实时性 解决占用带宽的问题 解决资源 2…

并发下载原理 import gevent from gevent import monkey import urllib.request monkey.patch_all() def my_download(url): print('GET: %s' % url) resp = urllib.request.urlopen(url) data = resp.read() print('%d bytes received from %s.' % (len(data), url)) gevent.j…

greenlet为了更好使用协程来完成多任务,python中greenlet模块对其封装,从而使得切换任务变得更加简单安装方式 pip3 install greenlet 示例代码: from greenlet import greenlet import time def test1(): while True: print("-----真-----") gr2.switch() time.sleep(0.5) def test2(): while True: print("…

gevent学习系列第三章,前面两章分析了大量常用几个函数的源码以及实现原理.这一章重点偏向实战了,按照官方给出的gevent学习指南,我将依次分析官方给出的7个数据结构.以及给出几个相应使用他们的例子. 1.事件: 事件是一个可以让我们在Greenlet之间异步通信的形式贴上一个gevent指南上面的例子: import gevent from gevent.event import Event ''' Illustrates the use of events ''' evt = Event…

在进行gevent源码学习一分析之后,我还对两个比较核心的问题抱有疑问: 1. gevent.Greenlet.join()以及他的list版本joinall()的原理和使用. 2. 关于在使用monkey_patchall()之后隐式切换的问题. 下面我将继续通过分析源码及其行为来加以理解和掌握. 1. 关于gevent.Greenlet.join()(以下简称join)先来看一个例子: import gevent def xixihaha(msg): print(msg) gevent.sl…

总算还是要来梳理一下这几天深入研究之后学习到的东西了. 这几天一直在看以前跟jd对接的项目写的那个gevent代码.为了查错,基本上深入浅出了一次gevent几个重要部件的实现和其工作的原理. 这里用一个简单demo依次分析运行流程和介绍相关概念最后得出结论: import gevent def test_1(): print '切换不出去' print '切换出去我不是循环' gevent.sleep(1) def test_2(): print '切换' print '切换出去我去' gev…

gunicorn工作原理 Gunicorn“绿色独角兽”是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器,移植自Ruby的独角兽(Unicorn )项目,使用pre-fork worker模式,具有使用非常简单,轻量级的资源消耗,以及高性能等特点. Gunicorn 服务器作为wsgi app的容器,能够与各种Web框架兼容(flask,django等),得益于gevent等技术,使用Gunicorn能够在基本不改变wsgi app代码的前提下,大幅度提高wsgi ap…

异步io的说白了就是遇到io操作的时候,就停下来去做别的事情.io分网络io和磁盘io,网络io比如说打开一个网站获取数据,下载一首歌等等,磁盘io就是把数据存到一个文件里面,写到磁盘上. 从网站上获取数据或者把数据写到磁盘上都是需要时间的,那就得等待了,这样的话,很多任务的时候就比较慢了,而异步io就可以遇到io操作的时候,就切换到别的任务去做别的事情,这样子效率就很高了. 举个例子,你去银行办业务,排队的人很多,那你就得等待了,等待的时候你又不能走, 也不能干其他事,效率就比较低了.异步io…

Python之路,Day9 - 异步IO\数据库\队列\缓存 本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 Python连接Mysql数据库操作 协程 1.协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是协程:协程是一种用户态的轻量级线程.(操作系统跟不知道它存在),那你指定协程的实现原理是什么吗? 我们来聊聊协程的实现原理: 首先我们知道多个线程在一个单核CPU上进行并发,它的操作过程是,操作系统能调动的最小单位是线程,当操作系统触发多个线…

进程.线程和协程的调度和运行原理总结. 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程.进程.协程通信(五) python并发编程之进程.线程.协程的调度原理(六) python并发编程之multiprocessing进程windows和linux环境的对比(七) 进程.线程的调度策略介绍…

协程的含义就不再提,在py2和py3的早期版本中,python协程的主流实现方法是使用gevent模块.由于协程对于操作系统是无感知的,所以其切换需要程序员自己去完成. 系列文章 python并发编程之threading线程(一) python并发编程之multiprocessing进程(二) python并发编程之asyncio协程(三) python并发编程之gevent协程(四) python并发编程之Queue线程.进程.协程通信(五) python并发编程之进程.线程.协程的调度原理(…

1.协程并发:切+保存状态单线程下实现并发:协程 切+ 保存状态 yield 遇到io切,提高效率 遇到计算切,并没有提高效率 检测单线程下 IO行为 io阻塞 切 相当于骗操作系统 一直处于计算协程:...单线程下实现并发:根本目标:遇到IO就切,一个线程的整体IO降下来程序用的cpu 时间长,就叫执行效率高效率最高:多个进程 (多个cpu) 每个进程开多个线程 每个线程用到协程 (IO就切)总结协程特点: #并发执行 import time def producer(): g=consume…

:first-child { margin-top: 0; } blockquote > :last-child { margin-bottom: 0; } img { border: 0; max-width: 100%; height: auto !important; margin: 2px 0; } table { border-collapse: collapse; border: 1px solid #bbbbbb; } td, th { padding: 4px 8px; bord…

在 Flask 应用中使用 gevent 普通的 flask 应用 通常在用 python 开发 Flask web 应用时,使用 Flask 自带的调试模式能够给开发带来极大便利.Flask 自带的调试模式可以让我们在程序改动时自动重新加载我们的应用程序,而且 jinja2 的模板也会随着改动自动刷新.一般用法是: # app.py from flask import Flask app = Flask( __name__ ) @app.route( '/') def hello(): ret…