#! /usr/bin/env python3 # -*- coding:utf- -*- from urllib import request import gevent,time from gevent import monkey monkey.patch_all() # 把当前程序中的所有io操作都做上标记 def spider(url): print("GET:%s" % url) resp = request.urlopen(url) data = resp.read() p…

IO模型 解决IO问题的方式方法 问题是:IO操作阻塞程序执行 解决的也仅仅是网络IO操作   一般数据传输经历的两个阶段,如图: IO阻塞模型分类: 阻塞IO 非阻塞IO 多路复用IO 异步IO(爬虫阶段) 信号驱动IO(了解) 1.阻塞IO模型 socket模块默认是阻塞的,一个读操作流程如下: 问题: 同一时间只能服务一个客户端 解决办法: 1. 多线程 优点:如果并发量不高,效率是较高的,因为每个客户端都有单独线程来处理 缺点:不可能无限的开启线程,线程也需要占用资源 2. 多进程 优点…

s12-20160312-day09 *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin…

协程介绍及基本示例 协程,又称微线程,纤程.英文名Coroutine.一句话说明什么是协程:协程是一种用户态的轻量级线程. 协程拥有自己的寄存器上下文和栈.协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈.因此: 协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置. 协程的好处: 无需线程上下文切换的开销 无需原子操作锁定及同步的开销 "原子操作(a…

前言 问题:普通套接字实现的服务端的缺陷 一次只能服务一个客户端!                         accept阻塞! 在没有新的套接字来之前,不能处理已经建立连接的套接字的请求 recv 阻塞! 在没有接受到客户端请求数据之前,不能与其他客户端建立连接 可以用非阻塞接口来尝试解决这个问题 IO阻塞与非阻塞 阻塞IO模型   阻塞IO(blocking IO)的特点:就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了. 什么是阻塞呢?想象这种情形,比如你等快递…

public class IoBlocked implements Runnable { private InputStream in; public IoBlocked(InputStream in) { this.in = in; } @Override public void run() { // TODO Auto-generated method stub try { print("Wait for read()"); int value=in.read(); // prin…

   IO阻塞模型(blocking IO) 在linux中,默认情况下所有的socket都是blocking,一个典型的读操作流程大概是这样:  所以,blocking IO的特点就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了. from socket import * server = socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8080)) server.listen(5) while True: con…

IO操作主要包括两类: 本地IO 网络IO 本地IO:本地IO是指本地的文件读取等操作,本地IO的优化主要是在操作系统中进行,我们对于本地IO的优化作用十分有限 网络IO:网络IO指的是在进行网络操作时需要等待用户的输入及传输的等待等,网络IO的优化需要我们自己进行,而我们对于网络IO的优化主要在等待用户输入时程序可以继续运行 1.IO阻塞模型 什么是IO阻塞模型 在我们使用socket创建客户端.服务端时,如果不对 他们执行其他操作,那么客户端的recv.send和服务器端的accept.se…

1. 学习计划 1.solr集群搭建 2.使用solrj管理solr集群 3.把搜索功能切换到集群版 4.添加商品同步索引库. a) Activemq b) 发送消息 c) 接收消息 2. 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求. So…

同步(synchronous):一个进程在执行某个任务时,另外一个进程必须等待其执行完毕,才能继续执行 #所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不会返回.按照这个定义, 其实绝大多数函数都是同步调用.但是一般而言,我们在说同步.异步的时候, 特指那些需要其他部件协作或者需要一定时间完成的任务. 异步(asynchronous): #异步的概念和同步相对.当一个异步功能调用发出后,调用者不能立刻得到结果. 当该异步功能完成后,通过状态.通知或回调来通知调用者.如果异步功能…