使用虚拟环境, 可以将当前项目所使用的依赖与电脑中其他 Python 项目的依赖区分开, 避免依赖版本不匹配带来的问题, 同时也可以防止项目依赖被不当更新. mkdir myproject cd myproject # 在项目根目录创建 python3 -m venv 虚拟空间名称 ## 如 python3 -m venv myvenv # 对于 macOS ## 在项目根目录输入以下命令以进入虚拟环境 source 虚拟空间名称/bin/activate ## 如 source myvenv/…

requirements.txt 最好配合虚拟空间使用, 虚拟空间的使用请参考 Python 虚拟空间的使用 - 难以想象的晴朗. requirements.txt 可以保证项目依赖包版本的确定性, 不会因为依赖更新而导致异常产生. # 在项目根目录下 # 请确保已经进入项目的虚拟空间 # 使用以下命令会在项目根目录产生一个 requirements.txt 文件 # 该文件会列出本虚拟空间中所使用的所有包及其版本 pip freeze > requirements.txt # 使用以下命令会安…

本项目代码可参考 imzhizi/myspider: a scrapy demo with elasticsearch 虚拟环境的创建 建议爬虫项目都创建虚拟环境 虚拟环境在 Python 项目中真的非常重要并且非常有意义 虚拟空间的使用可参考 Python 虚拟空间的使用 - 难以想象的晴朗. # 创建虚拟环境 mkdir spider-demo cd spider-demo python3 -m venv spidervenv # 进入虚拟环境 source spidervenv/bin/a…

协程 协程,又称微线程,纤程.英文名Coroutine. 协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用. 子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕. 所以子程序调用是通过栈实现的,一个线程就是执行一个子程序. 子程序调用总是一个入口,一次返回,调用顺序是明确的.而协程的调用和子程序不同. 协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,…

近期心得:国庆节放假再加上近期工作太忙,已经有半个月没更新博客了,程序更别说了,也没怎么去写,自己给自己着实放了个大假.谈谈感受的话,没有python的日子,每天看书.看电影.各种玩,还有爸妈伺候着,简直过的太爽了,哈哈哈哈.好了,回归正题,前两个月实在感觉太累了,导致工作学习效率都特别低,俗话说徐徐渐进劳逸结合才能有高产出,好在总算歇过来了,最近要把之前欠的博客慢慢找补回来,哈哈,python,额又会来了..... 一.概念说明 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区…

引子 到目前为止,我们已经学了网络并发编程的2个套路, 多进程,多线程,这哥俩的优势和劣势都非常的明显,我们一起来回顾下 协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离…

一.进程: 1.语法 2.进程间通讯 3.进程池 二.Gevent协程 三.Select\Poll\Epoll异步IO与事件驱动 一.进程: 1.语法 简单的启动线程语法 def run(name): time.sleep(2) print("hello",name) if __name__ == '__main__': for i in range(10):同时启动10个进程 p = multiprocessing.Process(target=run,args=("bob…

本节内容: 多进程 协程 事件驱动与Select\Poll\Epoll异步IO   1.  多进程 启动多个进程 进程中启进程 父进程与子进程 进程间通信 不同进程间内存是不共享的,要想实现两个进程间的数据交换,可以用以下方法: a)   queues #!/usr/bin/env python # -*- coding:utf-8 -*- from multiprocessing import Process, Queue import queue import threading def f…

Python生态环境简介 作者: Mir Nazim 原文: Python Ecosystem - An Introduction 译者: dccrazyboy  原译: Python生态环境简介 当开发人员从PHP,Ruby或者别的开发环境转换到Python时,所面对的最大问题是缺乏对Python开发的生态环境的充分理解.开发人员非常想得到一份关于完成大多数任务的指南或资源,而不论使用的方法是否规范. 下文所讲到的基本上都来源于我的网站,那存储着Python环境下对于网络应用开发的一些基本资料…

协程:遇到IO操作就切换,但是什么时候切回去呢?怎么确定IO操作? 很多程序员可能会考虑使用"线程池"或"连接池"."线程池"旨在减少创建和销毁线程的频率,其维持一定合理数量的线程,并让空闲的线程重新承担新的执行任务."连接池"维持连接的缓存池,尽量重用已有的连接.减少创建和关闭连接的频率. 这两种技术都可以很好的降低系统开销,都被广泛应用很多大型系统,如websphere.tomcat和各种数据库等.但是,"线程池…

第一章 - Python 环境搭建 操作系统准备 准备Linux最小系统即可. 如果在虚拟机中克隆,MAC地址会变. 这里使用CentOS 6.5+ Pyenv 安装 安装git yum install git -y 安装Python编译依赖 yum -y install gcc make patch gdbm-devel openssl-devel sqlite-devel readline-devel zlib-devel bzip2-devel 创建用户python useradd pyt…

协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是协程,协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切换回来的时候,恢复先前保存的寄存器上下文和栈.因此,协程能保留上一次调用的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法,进入上一次离开时所处逻辑流的位置. 子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返…

一.协程(Coroutine) 1.知识背景 协程又称微线程,是一种用户态的轻量级线程.子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕.所以子程序调用是通过栈实现的,一个线程就是执行一个子程序.子程序调用总是一个入口,一次返回,调用顺序是明确的.而协程的调用和子程序不同.协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行.因为协程拥有自己的寄存器上下…

Python生态环境简介 作者: Mir Nazim 原文: Python Ecosystem - An Introduction 译者: dccrazyboy  原译: Python生态环境简介 当开发人员从PHP,Ruby或者别的开发环境转换到Python时,所面对的最大问题是缺乏对Python开发的生态环境的充分理解.开发人员非常想得到一份关于完成大多数任务的指南或资源,而不论使用的方法是否规范. 下文所讲到的基本上都来源于我的网站,那存储着Python环境下对于网络应用开发的一些基本资料…

本节内容 Gevent协程 异步IO Paramiko 携程 协程,又称为微线程,纤程(coroutine).是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前的寄存器上下文和栈.因此,协程可以保存上一次调用时候的状态,每次过程重入时,就相当于进入上一次的状态,即上一次离开时所处在的逻辑流位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 所谓原子操作是指不会被线程调度机制打断的操作:这…

Python虚拟环境的安装和配置-virtualenv与windows下多个python版本共存 windows下多个python版本共存 https://www.python.org/downloads/ 1.下载并安装python3.6版本与2.7版本 2.添加python3.6和2.7的环境变量 3.将python36目录下的python.exe重新命名为python3.exe 将python27目录下的python.exe重新命名为python2.exe 4.在命令行下分别输入pytho…

新建立一个虚拟环境,与其他python 包隔开互不影响 首先新建立一个目录,命名为xx, python3 下操作 $:python -m venv ll_env 注意在有多个Python环境下,使用 python3 -m venv ll_env 可能不会成功 方法一: linux下使用  pip install --user virtualenv  来安装虚拟环境 此时可能会提醒你,pip未安装 使用 sudo apt-get install python-pip  来安装pip然后再操作 pi…

目录: 一.基础概念 1.多进程 2.进程间通信 3.进程锁 4.进程池 5.协程 a) greenlet b) Gevent 6.论事件驱动与异步IO 7.IO多路复用 8.Python Select 一.基础概念: 1.多进程multiprocessing 多进程和多线程模块一样,都是一个可以使用一个API产生多个进程的模块,多进程提供了本地与远程的并发,通过使用子进程代替线程,多进程比GIL下的多线程更高效,基于这个原因,多进程模块可以允许开发人员在一个给定的设备上运行多个进程 备注:py…

 一.事件驱动模型介绍                                                                                                        1.传统的编程模式  例如:线性模式大致流程 开始--->代码块A--->代码块B--->代码块C--->代码块D--->......--->结束 每一个代码块里是完成各种各样事情的代码,但编程者知道代码块A,B,C,D...的执行顺序,唯一能…

1 进程概述 引自 Python 多进程 fork()详解 1.1 进程 进程是程序的一次动态执行过程,它对应了从代码加载.执行到执行完毕的一个完整过程. 进程是系统进行资源分配和调度的一个独立单位.进程是由代码(堆栈段).数据(数据段).内核状态和一组寄存器组成. 在多任务操作系统中,通过运行多个进程来并发地执行多个任务.由于每个线程都是一个能独立执行自身指令的不同控制流,因此一个包含多个线程的进程也能够实现进程内多任务的并发执行. 进程是一个内核级的实体,进程结构的所有成分都在内核空间中,一…

一 虚拟环境 virtual environment 它是一个虚拟化,从电脑独立开辟出来的环境.通俗的来讲,虚拟环境就是借助虚拟机docker来把一部分内容独立出来,我们把这部分独立出来的东西称作“容器”,在这个容器中,我们可以只安装我们需要的依赖包,各个容器之间互相隔离,互不影响.譬如,本次学习需要用到Django,我们可以做一个Django的虚拟环境,里面只需要安装Django相关包就可以了,需要Scrapy库,就在开辟一个独立空间来学习Scrapy库相关就行了. 二  前言:为什么要用虚拟…

事件驱动模型 协程:遇到IO操作就切换. 但什么时候切回去呢?怎么确定IO操作完了? 很多程序员可能会考虑使用“线程池”或“连接池”.“线程池”旨在减少创建和销毁线程的频率,其维持一定合理数量的线程,并让空闲的线程重新承担新的执行任务.“连接池”维持连接的缓存池,尽量重用已有的连接.减少创建和关闭连接的频率. 这两种技术都可以很好的降低系统开销,都被广泛应用很多大型系统,如websphere.tomcat和各种数据库等.但是,“线程池”和“连接池”技术也只是在一定程度上缓解了频繁调用IO接口带来…

协程 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是线程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 "原子操作(atomic o…

进程和线程的目的 进程和线程目的是为了:提高执行效率 现代操作系统比如Mac OS X,UNIX,Linux,Windows等,都是支持“多任务”的操作系统. 什么叫“多任务“呢?简单地说,就是操作系统可以同时运行多个任务.打个比方,你一边在用浏览器上网,一边在听MP3,一边在用Word赶作业,这就是多任务,至少同时有3个任务正在运行.还有很多任务悄悄地在后台同时运行着,只是桌面上没有显示而已. 现在,多核CPU已经非常普及了,但是,即使过去的单核CPU,也可以执行多任务.由于CPU执行代码都是…

阻塞IO和非阻塞IO.同步IO和异步IO的区别 讨论背景:Linux环境下的network IO. 1.先决条件(几个重要概念) 1.1.用户空间与内核空间 现在操作系统都是采用虚拟存储器,那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方).操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证用户进程不能直接操作内核(kernel),保证内核的安全,操心系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空…

一.为什么要创建虚拟环境: 应为在开发中会有同时对一个包不同版本的需求,创建多个开发环境就能解决这个问题.或许也会有对python不同版本的需求,这就需要使用程序来管理不同的版本,virtualenv与virtualenvwrapper就好比能创造出来一个一个的独立容器,各个容器之间互不干扰,所以我们就可以在每个容器中安装我们需要的依赖包 虚拟环境是Python解释器的一个私有的副本,在这个环境中你可以安装私有包,而且不会影响系统中安装的全局Python解释器.虚拟环境非常的有用,可以在系统中P…

一.多进程 程序中, 大量的计算占用CPU资源,而IO操作不占CPU资源.当程序需要进行大量计算时,Python采用多线程运行的速度不一定比单线程快多少.但是当程序是IO密集型的,那就应该使用多线程来处理. 由于Python自身机制,多线程并不是同时运行在不同的CPU核心上的.但是我们可以使用多进程(每个进程默认有一个线程)来达到同时使用多个CPU核心来完成多件事情的目的,例如CPU一共8核,我们可以启动8个Python进程,这样每个进程中默认的线程都可以同时运行了.但是多进程之间数据默认不能通…

目录 python多线程详解 一.线程介绍 什么是线程 为什么要使用多线程 二.线程实现 threading模块 自定义线程 守护线程 主线程等待子线程结束 多线程共享全局变量 互斥锁 递归锁 信号量(BoundedSemaphore类) 事件(Event类) 三.GIL(Global Interpreter Lock)全局解释器锁 python多线程详解 一.线程介绍 什么是线程 线程(Thread)也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单…

一.socket(单链接) 1.socket:应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口.在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面:也有人将socket说成ip+port,ip是用来标识互联网中的一台主机的位置,而port是用来标识这台机器上的一个应用程序,ip地址是配置到网卡上的,而port是应用程序开启的,ip与port的绑定就标识了互联网中独一无二的一个应用程序:而程序的pid是同一台机器上不同进程或者线程的标…

Python自动化 [第十篇]:Python进阶-多进程/协程/事件驱动与Select\Poll\Epoll异步IO 本节内容: 多进程 协程 事件驱动与Select\Poll\Epoll异步IO   1.  多进程 启动多个进程 进程中启进程 父进程与子进程 进程间通信 不同进程间内存是不共享的,要想实现两个进程间的数据交换,可以用以下方法: a)   queues #!/usr/bin/env python # -*- coding:utf-8 -*- from multiprocessin…