python单线程下实现多个socket并发

先看服务端的代码 import sys # import socket import time import gevent from gevent import socket from gevent import monkey monkey.patch_all() #类似于python中的黑魔法,把很多模块的阻塞的变成非阻塞的,比如socket中的rece和send都变 # 为不阻塞了 def server(port): s = socket.socket() s.bind(("127.0.0.…

Python 单线程下实现多个socket并发

## 客户端 import socket import gevent import threading import multiprocessing ip_bind = ('127.0.0.1',8000) c=socket.socket() c.connect(ip_bind) def f(n): while True: data=str(n) c.send(bytes(data,encoding='utf8')) data = c.recv(1024) print('服务端:',str(da…

Python 37 基于多线程实现套接字、gevent 、单线程下实现并发的套接字通信

一:基于多线程实现套接字可添加多个客户端 from socket import * from threading import Thread def comunicate(conn): while True: # 通信循环 try: data = conn.recv(1024) if len(data) == 0: break conn.send(data.upper()) except ConnectionResetError: break conn.close() def server(i…

通过gevent实现单线程下的多socket并发

#通过gevent实现单线程下的多socket并发服务器 #server side import sys import socket import time import gevent from gevent import socket,monkey monkey.patch_all() def server(port): s = socket.socket() s.bind(('0.0.0.0', port)) s.listen(500) while True: cli, addr = s.…

python全栈开发从入门到放弃之socket并发编程之协程

一.为什么会有协程本节的主题是基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长 ps:在介绍进程理论时,提及进程的三种执行状态,而线程才是执行单位,所以也可以将上图理解为线程的三种状态其中第二种情况并不能提升效率,只是为了让cpu能够雨露均沾,实现看起来所有任务…

python 单线程实现并发

单线程下支持并发(服务端): from gevent import spawn,monkey;monkey.patch_all() from socket import * def server(ip,port): server = socket(AF_INET, SOCK_STREAM) server.bind((ip,port)) server.listen(5) while True: conn, addr = server.accept() print(addr) # .... # t=…

Python开发【笔记】：单线程下执行多个定时任务

单线程多定时任务前言:公司业务需求,实例当中大量需要启动定时器的操作:大家都知道python中的定时器用的是threading.Timer,每当启动一个定时器时,程序内部起了一个线程,定时器触发执行结束后,线程自动销毁:这里就涉及到一个问题,如果同时有大量启动定时器的需求时,内部线程过多,程序肯定就崩了,有没有启一个线程就能完成定时器的操作呢?网上查了一些资料,还没有看到能解决目前问题的现成代码,不如自己搞一个试试 1.初始版本: 思路:定时器,说白了就是延时执行指定的程序,目前自己重构pyt…

生产者和消费者模型producer and consumer(单线程下实现高并发）

#1.生产者和消费者模型producer and consumer modelimport timedef producer(): ret = [] for i in range(2): time.sleep(0.2) ret.append("包子%s" %i) return retdef consumer(res): for index,baozi in enumerate(res): time.sleep(0.2) print("第%s个人,吃了%s" %(in…

Python开发【第九篇】：并发编程

内容概要操作系统介绍进程线程协程二. 进程 python并发编程之多进程理论部分在python程序中的进程操作运行中的程序就是一个进程.所有的进程都是通过它的父进程来创建的.因此,运行起来的python程序也是一个进程,那么我们也可以在程序中再创建子进程.多个进程可以实现并发效果,也就是说,当我们的程序中存在多个进程的时候,在某些时候,就会让程序的执行速度变快.创建进程这个功能需要借助python中强大的模块. multiprocess模块 multiprocess不是一个模块…

python单线程，多线程和协程速度对比

在某些应用场景下,想要提高python的并发能力,可以使用多线程,或者协程.比如网络爬虫,数据库操作等一些IO密集型的操作.下面对比python单线程,多线程和协程在网络爬虫场景下的速度. 一,单线程. 单线程代 1 #!/usr/bin/env 2 # coding:utf8 3 # Author: hz_oracle import MySQLdb import gevent import requests import time class DbHandler(object): def _…

python（38）- 网络编程socket

一客户端/服务器架构即C/S架构,包括 1.硬件C/S架构(打印机) 2.软件C/S架构(web服务) 美好的愿望: 最常用的软件服务器是 Web 服务器.一台机器里放一些网页或 Web 应用程序,然后启动服务.这样的服务器的任务就是接受客户的请求,把网页发给客户(如用户计算机上的浏览器),然后等待下一个客户请求.这些服务启动后的目标就是“永远运行下去”.虽然它们不可能实现这样的目标,但只要没有关机或硬件出错等外力干扰,它们就能运行非常长的一段时间. 生活中的C/S架构: 饭店是S端(…

windows下多进程加协程并发模式

好久没更新博客了.正好最近要整理一下最近这段时间做过的项目以及学习python的一些心得.如标题所示,今天就来说说windows下多进程加协程并发模式.其实网上还是蛮多在linux下的多进程加协程并发模式,本身linux对python的支持更好吧.但是由于本人的开发环境是windows的,而且网上关于这方面的资料还是少了一点,不过经过一番折腾,也算是弄出来了.废话不多说,先贴代码吧: # coding=utf-8 # windows下多进程加协程并发模式 # 打入gevent的monkey补丁…

C#高性能大容量SOCKET并发（零）：代码结构说明

原文:C#高性能大容量SOCKET并发(零):代码结构说明 C#版完成端口具有以下特点: 连接在线管理(提供在线连接维护,连接会话管理,数据接收,连接断开等相关事件跟踪): 发送数据智能合并(组件会根据资源使用情况,对多个同时发送向同一连接的多个消息数据进行合并写入缓冲区: 内存池管理(提供一系列的接收和发送buffer可复用池): 数据读写封装: 通讯协议封装: 由不同的类负责实现,比MSDN的例子代码多了不少逻辑,为了方便大家阅读和理解,把整体类框架设计整体如下. 类结构图类说明 Asyn…

C#高性能大容量SOCKET并发（九）：断点续传

原文:C#高性能大容量SOCKET并发(九):断点续传上传断点续传断点续传主要是用在上传或下载文件,一般做法是开始上传的时候,服务器返回上次已经上传的大小,如果上传完成,则返回-1:下载开始的时候,由客户端上报本地已经下载大小,服务器根据位置信息下发数据,因此上传下载协议都需要带Size大小,例如我们协议格式. 上传开始: 客户端->服务器 { [Request] Command=Upload Dir=Dir #目录,全路径名 FileName=…

C#高性能大容量SOCKET并发（七）：协议字符集

原文:C#高性能大容量SOCKET并发(七):协议字符集 UTF-8 UTF-8是UNICODE的一种变长字符编码又称万国码,由Ken Thompson于1992年创建.现在已经标准化为RFC 3629.UTF-8用1到6个字节编码UNICODE字符.用在网页上可以同一页面显示中文简体繁体及其它语言(如日文,韩文). 使用UTF-8的好处是现在一些手机平台都是使用UTF-8,另外在一些嵌入式平台,如果不支持中文,只支持英文,可以不转换,UTF-8就可以识别. NET默认支持的编码是Unicode…

C#高性能大容量SOCKET并发（二）：SocketAsyncEventArgs封装

原文:C#高性能大容量SOCKET并发(二):SocketAsyncEventArgs封装 1.SocketAsyncEventArgs介绍 SocketAsyncEventArgs是微软提供的高性能异步Socket实现类,主要为高性能网络服务器应用程序而设计,主要是为了避免在在异步套接字 I/O 量非常大时发生重复的对象分配和同步.使用此类执行异步套接字操作的模式包含以下步骤: 1.分配一个新的 SocketAsyncEventArgs 上下文对象,或者从应用程序池中获取一个空闲的此类对象.…

Python环境下NIPIR(ICTCLAS2014)中文分词系统使用攻略

一.安装官方链接:http://pynlpir.readthedocs.org/en/latest/installation.html 官方网页中介绍了几种安装方法,大家根据个人需要,自行参考!我采用的是: Install PyNLPIR using easy_install: $ easy_install pynlpir 二.使用NLPIR进行分词注:此处主要使用pynlpir.nlpir模块,该模块使用ctypes为NLPIR提供面向Python的接口,因此在调用NLPIR方法时,基本与…

linux设备驱动归纳总结（四）：5.多处理器下的竞态和并发【转】

本文转载自:http://blog.chinaunix.net/uid-25014876-id-67673.html linux设备驱动归纳总结(四):5.多处理器下的竞态和并发 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 这节将在上一节的基础上介绍支持多处理器和内核抢占的内核如何避免并发.除了内核抢占和中断外,由于多处理起的缘故,它可以做到多个程序同时执行.所以,进…

linux设备驱动归纳总结（四）：4.单处理器下的竞态和并发【转】

本文转载自:http://blog.chinaunix.net/uid-25014876-id-67005.html linux设备驱动归纳总结(四):4.单处理器下的竞态和并发 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 经过上面几节的铺垫,终于要来重点了,由于内核的进程调度和中断(中断还没讲,不过这里会大概的说说),它们都会进入内核共用内核的资源.所以,只要一不留…

Python多线程下的_strptime问题

Python多线程下的_strptime问题由于Python的datetime和time中的_strptime方法不支持多线程,运行时会报错: import datetimeimport threadimport time def f(): datetime.datetime.strptime("20100101","%Y%m%d") for _ in xrange(3): thread.start_new_thread(f, ())time.slee…

windows下用c实现Socket通信

原文:windows下用c实现Socket通信原本以为c是跨平台,所以,c在windows下和linux下的程序应该是类似于Java,什么都不用改变的,今儿才恍然大悟,他们的类库不一样啊-- 下面我贴出来一个windows下的c语言socket通信例子,这里我们客户端传递一个字符串,服务器端进行接收. [实际上我们需要完成的二进制流的传输,需要使用unsigned char来实现,因为c里没有byte数据类型,这里我们不以byte为例,因为效果不会很直观,我们采取最简单的字符串交互.] [服务…

Windows下C语言的Socket编程例子（TCP和UDP）

原文:Windows下C语言的Socket编程例子(TCP和UDP) 刚刚学windows编程,所以想写学习笔记,这是一个简单的Socket程序例子,开发环境是vc6: 首先是TCP server端: #include "stdafx.h" #include <stdio.h> #include <winsock2.h> #pragma comment(lib,"ws2_32.lib") int main(int argc, char* ar…

Python的下划线_

1.单下划线(_) 通常情况下,单下划线(_)会在以下3种场景中使用: 1.1 在解释器中: 在这种情况下,"_"代表交互式解释器会话中上一条执行的语句的结果.这种用法首先被标准CPython解释器采用,然后其他类型的解释器也先后采用. >>> _ Traceback (most recent call last): File "<stdin>", line 1, in <module> NameError: name '_…

python环境下实现OrangePi Zero寄存器访问及GPIO控制

最近入手OrangePi Zero一块,程序上需要使用板子上自带的LED灯,在网上一查,不得不说OPi的支持跟树莓派无法相比.自己摸索了一下,实现简单的GPIO控制方法,作者的Zero安装的是Armbian系统,使用python写了一个读写寄存器的简单模块,通过这个模块,即可实现对GPIO的控制. 作者以前使用过STM32的MCU,这类MCU,如果要实现对GPIO的控制,只需要根据datasheet查找相应GPIO寄存器并进行配置,即可实现IO控制,例如,要将内存地址为0x12345678的寄存…

20170310 - Python 3 下 SQLAlchemy 的 MySQL 数据库 URI 配置

MySQL-Python 只用于 Python 2,URI配置为 mysql://username:password@server/db Python 3 下要使用另一个 PyMySQL 包,相应的URI改为 mysql+pymysql://username:password@server/db 使用 Oracle 提供的连接包也 OK…

python简单的监控脚本-利用socket、psutil阻止远程主机运行特定程序

python简单的监控脚本-利用socket.psutil阻止远程主机运行特定程序 psutil是一个跨平台的库(http://code.google.com/p/psutil/),能够轻松的实现获取系统运行的进程和系统利用率(CPU.内存.磁盘.网络等)信息.它主要应用于系统监控,分析和限制系统资源及进程的管理. psutil是第三方库需要安装.pip install psutil 利用socket,psutil实现阻止远程主机运行特定的程序,本例的黑名但是直接写死的,也可以加载一个黑名单文件…