注:Unix \ Linux 环境下的network IO   用户空间与内核空间 现在操作系统都是采用虚拟存储器,那么对32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方).操作系统的核心是内核,独立于普通的应用程序,可以访问受保护的内存空间,也有访问底层硬件设备的所有权限.为了保证用户进程不能直接操作内核(kernel),保证内核的安全,操心系统将虚拟空间划分为两部分,一部分为内核空间,一部分为用户空间.针对linux操作系统而言,将最高的1G字节(从虚拟地址0xC0000…

Python和Excel交互 使用的python包为XlsxWriter 下载的链接 https://pypi.python.org/pypi/XlsxWriter 初级的例子: def write_excel(info_list,colums,name,sheetname): import xlsxwriter workbook = xlsxwriter.Workbook(name) worksheet = workbook.add_worksheet(sheetname) info_leng…

[转]Python之系统交互(subprocess) 本节内容 os与commands模块 subprocess模块 subprocess.Popen类 总结 我们几乎可以在任何操作系统上通过命令行指令与操作系统进行交互,比如Linux平台下的shell.那么我们如何通过Python来完成这些命令行指令的执行呢?另外,我们应该知道的是命令行指令的执行通常有两个我们比较关注的结果: 命令执行的状态码--表示命令执行是否成功 命令执行的输出结果--命令执行成功后的输出 早期的Python版本中,我们…

<ifconfig源码分析之与内核交互数据>本文档的Copyleft归rosetta所有,使用GPL发布,可以自由拷贝.转载,转载时请保持文档的完整性.参考资料:<Linux设备驱动程序 第三版>,scull源码,Linux内核源码来源:http://blog.csdn.net/rosetta/article/details/7563615 ifconifg是Linux提供的一个操作网络接口的应用层程序,虽然和设备驱动编写没什么联系,但分析它的部分核心代码有助于理解应用层和内核层交…

1. pdflush刷新脏数据条件 (linux IO 内核参数调优 之 原理和参数介绍)上一章节讲述了IO内核调优介个重要参数参数. 总结可知cached中的脏数据满足如下几个条件中一个或者多个的时候就会被pdflush刷新到磁盘: (1)数据存在的时间超过了dirty_expire_centisecs(默认30s)时间 (2)脏数据所占内存 /(MemFree + Cached - Mapped) > dirty_background_ratio.也就是说当脏数据所占用的内存占(MemFre…

#转载请联系 在写内容之前,先放一张图,bling- 这张图算是比较详细的表达出了web开发都需要什么.用户访问网页,就是访问服务器的网页文件.这些网页文件由前端工程师编写的.服务器通常用nginx/apache(LNMP/LAMP).这时候,用户能浏览到页面了.当用户需要登录时,肯定要核对用户名密码正不正确呀.这时候,服务器会把数据传输给web框架了,就是我们的python应用程序.python应用程序和mysql数据库进行通信,查询一下这个用户的用户名和密码,再对比一下服务器传来的.两者一致…

http://backend.blog.163.com/blog/static/2022941262013112081215609/ http://blog.csdn.net/icycode/article/category/5966733 http://blog.sina.cn/dpool/blog/s/blog_b374c0f30102wboi.html         1. pdflush刷新脏数据条件 (linux IO 内核参数调优 之 原理和参数介绍)上一章节讲述了IO内核调优介个重…

题目:Python实现用户交互,显示省市县三级联动的选择 定义的字典为: dic = { "江西": { "萍乡": ["安源", "彭高", "上栗"], "新余": ["良山", "新钢", "兴安岭"], }, "北京": { "大兴区": ["礼贤镇", &qu…

先安装一个python与MySQL交互的包:MySQL-python $ gunzip MySQL-python-1.2.2.tar.gz $ tar -xvf MySQL-python-1.2.2.tar $ cd MySQL-python-1.2.2 $ python setup.py build $ python setup.py install ========================================================================…

Python——IO多路复用之select模块epoll方法 使用epoll方法实现IO多路复用,使用方法基本与poll方法一致,epoll效率要高于select和poll. .├── epoll_client.py├── epoll_server.py└── settings.py # settings.py HOST = 'localhost' PORT = 5555 buffersize = 1024 ADDR = HOST, PORT # poll_server.py from sett…

Python——IO多路复用之select模块poll方法 使用poll方法实现IO多路复用 .├── poll_client.py├── poll_server.py└── settings.py # settings.py HOST = 'localhost' PORT = 5555 buffersize = 1024 ADDR = HOST, PORT # poll_server.py from settings import * from select import * from soc…

Python——IO多路复用之select模块select方法 使用select模块的select方法实现Python——IO多路复用 实现同时将终端输入的文本以及客户端传输的文本写入文本文件中: write_file/├── client.py├── server.py├── settings.py└── text # settings.py HOST = 'localhost' PORT = 5556 buffersize = 1024 ADDR = HOST, PORT # server.…

python IO流操作 学习完本篇,你将会独立完成 实现操作系统中文件及文件目录的拷贝功能. 将目标图片拷贝到指定的目录中 实现一个自动阅卷程序, Right.txt保存正确答案,xx(学生姓名).txt代表学生答案.阅卷程序完成阅卷并按照成绩的高低保存到 成绩.txt文件中(格式为 xx(学生姓名):xx分) 输出 最简单的输出方法是用print语句,你可以给它传递零个或多个用逗号隔开的表达式.此函数把你传递的表达式转换成一个字符串表达式,并将结果写到标准输出如下: print "hello…

IO 多路复用 作用:  检测多个socket是否已经发生变化(是否已经连接成功/是否已经获取数据) 即(可读/可写) IO请求时 解决并发  :  单线程 def get_data(key): client = socket.socket() # 与百度创建连接 client.connect(("www.baidu.com",80)) # 给百度发送数据, 告诉百度我要什么 client.sendall(b'GET /s?wd=alex HTTP/1.0\r\nhost:www.ba…

Redis简介 Redis是一使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日个开源的志型.Key-Value数据库,并提供多种语言的API. 从2010年3月15日起,Redis的开发工作由VMware主持.从2013年5月开始,Redis的开发由Pivotal赞助. Redis是 NoSQL技术阵营中的一员,它通过多种键值数据类型来适应不同场景下的存储需求,借助一些高层级的接口使用其可以胜任,如缓存.队列系统的不同角色 Redis和其他数据库相比有如下特点: Redis支持数据的…

python和C++能进行有效的交互,c++调用Python的一些小用法 写了一个python脚本导入发生异常,可能是编码问题(如存在中文),Python默认的是ASCII可加上:#!/usr/bin/python# -*- coding: utf-8 -*-参见:https://www.python.org/dev/peps/pep-0263/ 定义类C数据结构:class Point(Structure): _pack_ = 1 _fields_ = [('x', c_uint8), ('y…

python的文件读写操作符有:r w a r+ w+ rb wb 除了以file的方式打开文件,还有一种方式就是open了,两个的用法是一模一样的,可以看成open就是file的别名 下面这个表格是转自:http://blog.csdn.net/cnmilan/article/details/9142561 w 以写方式打开文件,可向文件写入信息.如文件存在,则清空该文件,再写入新内容 a 以追加模式打开文件(即一打开文件,文件指针自动移到文件末尾),如果文件不存在则创建,可以追加文件内容,但…

1.  page cache linux操作系统默认情况下写都是有写缓存的,可以使用direct IO方式绕过操作系统的写缓存.当你写一串数据时,系统会开辟一块内存区域缓存这些数据,这块区域就是我们常说的page cache(操作系统的页缓存).查看系统内存常用的命令有:vmstat.free.top等. 可以使用 cat /proc/meminfo 查看详细的内存使用情况   其中的Cached为140M左右(page cache).注意其中有一个Dirty: 24KB,表示当前有24KB的数…

本节内容 os与commands模块 subprocess模块 subprocess.Popen类 总结 我们几乎可以在任何操作系统上通过命令行指令与操作系统进行交互,比如Linux平台下的shell.那么我们如何通过Python来完成这些命令行指令的执行呢?另外,我们应该知道的是命令行指令的执行通常有两个我们比较关注的结果: 命令执行的状态码--表示命令执行是否成功 命令执行的输出结果--命令执行成功后的输出 早期的Python版本中,我们主要是通过os.system().os.popen()…

1.  用户输入 在Python 3 中,用户输入用input()函数即可实现用户交互程序. 例如,我们根据程序提示输入用户名和密码,并且打印输入的信息. 2. 字符串格式化输出 例如,我们根据程序提示输入姓名,工作,薪资等信息,然后实现多种格式化输出. (1)用 加好"+"实现格式化输出. 代码如下: name = input("name:") job = input("job:") salary = input("salary:&q…

RabbitMQ 消息队列 成熟的中间件RabbitMQ.ZeroMQ.ActiveMQ等等 RabbitMQ使用erlang语言开发,使用RabbitMQ前要安装erlang语言 RabbitMQ允许不同应用.程序间交互数据 python中的Threading queue只能允许单进程内多线程交互的 python中的MultiProcessing queue只能允许父进程与子进程或同父进程的多个子进程交互 RabbitMQ启动: 1.windows中默认安装成功,在服务列表中会显示自动启动 2…

IO在计算机中指Input/Output,也就是输入和输出 一.文件读写 1.读文件 >>> f = open('/Users/michael/test.txt', 'r') -------------------------------------------------------- 标示符'r'表示读,这样,我们就成功地打开了一个文件. 如果文件不存在,open()函数就会抛出一个IOError的错误,并且给出错误码和详细的信息告诉你文件不存在: >>> f=op…

开始学python 交互MySQLdb,踩了很多坑 第一个 %d format: a number is required, not str 参照以下博客: https://blog.csdn.net/u011878172/article/details/72599120 # -*- coding: utf-8 -*- import MySQLdb try: conn=MySQLdb.connect(host='localhost',port='3306',db='test',user='roo…

之前学python的时候,是拿<笨办法学python>练习的. 书里面基本都是以.py文件去写代码,也就是文本编辑模式. 而交互模式(也就是powershell),唯有在input用户输入的时候才用到它. 现在学虫师的<selenium基于python>语法一章时,遇到了很多交互模式下的操作. 注:用的python自带的编辑器,IDLE 交互模式下不需要print,直接输入函数名或者数组名就能输出了.(这点让我很是懵逼,因为以前真的没接触过) 以至于我混淆了print.return…

所谓IO密集型任务,是指磁盘IO.网络IO占主要的任务,计算量很小.比如请求网页.读写文件等.当然我们在Python中可以利用sleep达到IO密集型任务的目的. 所谓计算密集型任务,是指CPU计算占主要的任务,CPU一直处于满负荷状态.比如在一个很大的列表中查找元素(当然这不合理),复杂的加减乘除等. 多线程即在一个进程中启动多个线程执行任务.一般来说使用多线程可以达到并行的目的,但由于Python中使用了全局解释锁GIL的概念,导致Python中的多线程并不是并行执行,而是“交替执行”. P…

io.open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True) 打开file对象并返回对应的数据流.如果打开失败,则抛出IOError异常. file要么是一个指向需要被打开文件的路径字符串,或者是文件描述符序号. mode是一个可选字符串,用来指明打开文件的模式.默认为'r',意思是可读文本模式.另一个常见的参数值是'w',表示写入(如果文件存在,则首先清空文件内容.).…

io.open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True),打开file对象并返回对应的数据流.如果打开失败,则抛出IOError异常. file要么是一个指向需要被打开文件的路径字符串,或者是文件描述符序号. mode是一个可选字符串,用来指明打开文件的模式.默认为'r',意思是可读文本模式.另一个常见的参数值是'w',表示写入(如果文件存在,则首先清空文件内容.).…

1.事件渠道模型.事件渠道为异步IO的原型. 2.IO模式,一次IO调用会经历两个阶段.一.等待数据阶段,将数据从网络或者是磁盘读取到系统内核(kennel) 二.将数据从内核拷贝到进程中. 基于这两个阶段,linux系统下面产生了五种网络网络模式方案. -阻塞I/O(blocking IO) -非阻塞I/O(nobokcing IO) - I/O多路复用.(I/O multiplexing) - 信号驱动 -异步I/O(async) 由于信号驱动使用较少,主要介绍其余四种模式. 3.阻塞I/O…

socket用户交互+MD5加密 利用socket从client传输文件指令于server 再返还字节大小与内容 socketserver的使用(重要) 注意: ##client.recv(1024)此句指令尤为重要 --每次收到最大1024 一般都小于1024, -因此必须判断每次传输的字节大小 并累加 直到保证接收到的内容不小于server发出的内容 -否则一直继续传输 client代码 import socket client=socket.socket() client.connect(…

IO 由于CPU和内存的速度远远高于外设的速度,所以,在IO编程中,就存在速度严重不匹配的问题. 如要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒,怎么办呢?有两种办法: 第一种是CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行,这种模式称为同步IO: 另一种方法是CPU不等待,只是告诉磁盘,“您慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行,这种模式称为异步IO.…