1. multiprocessing 和 threading有什么区别? threading module并没有真正利用多核.而multiprocessing 利用subprocess避开了python 中的Global Interpreter Lock. "the multiprocessing module allows the programmer to fully leverage multiple processors on a given machine." 2. 为什么我…

这段时间沉迷MultiProcessing模块不能自拔,没办法,python的基础不太熟,因此就是在不断地遇到问题解决问题.之前学习asyncio模块学的一知半解,后来想起MultiProcessing模块更是一知半解,趁着暑假无聊就研究了一下,不得不说,这加深了自己对Python基础的掌握与理解...于是就有了这一系列<python标准库之MultiProcessing库的研究 (1)><python MultiProcessing标准库使用Queue通信的注意要点><py…

python multiprocessing example Server Code: #!/usr/bin/python #-*- coding: UTF-8 -*- # mpserver.py # # Queues are thread and process safe. from multiprocessing.managers import BaseManager # g as a server process state g = 10000 class MathClass(object…

1.np中的reshape函数,可以把矩阵重新划分成m行n列. arange(n)可以把 [0,n-1]装入数组中,一定要注意的是img.reshape()并不会改变原来的数组,所以需要另外新建一个数组来接. import numpy as np img=np.arange(8) print(img) d=img.reshape(2,4) print(d) 2.python切片相关知识 https://www.liaoxuefeng.com/wiki/0014316089557264a6b348…

Python文件相关操作 打开文件 打开文件,采用open方法,会将文件的句柄返回,如下: f = open('test_file.txt','r',encoding='utf-8') 在上面的代码中,open()方法进行打开文件等相关操作,open()方法其中第一个参数是要打开的文件的文件路径,第二个参数是对要打开文件要执行的权限,第三个参数是文件采用字符编码. 而open()方法返回的内容叫做文件句柄.我们可以打印返回的文件句柄来看下: f = open('test_file.txt','r…

  由于最近正在放暑假,所以就自己开始学习python中有关爬虫的技术,因为发现其中需要安装许多库与软件所以就在这里记录一下以避免大家在安装时遇到一些不必要的坑. 一. 相关软件的安装:   1. homebrew: homebrew 是mac os系统下的包管理器由于功能齐全所以在这里比较推荐大家安装,安装及使用教程在我的另一篇博客中,在此附上链接 homebrew的安装.    2. anaconda:anaconda是python下的包管理器,支持创建虚拟环境等功能,个人认为比自带的pip…

Python内存相关 示例一: v1 = [1, 2, 3] v2 = [1, 2 ,3] v1 = 123 v2 = 123 v1 = "dogfa" v2 = "dogfa" # 虽然v1 和v2 的值相同,但是由于v1和v2 在内存中分别开辟了两块不同的空间,所以理论上v1的内存地址不等于v2的内存地址 (在Python中有不同变化,下面会介绍) 示例二: v1 = [1, 2, 3] v1 = [4, 5, 6] # v1最开始指向的内存地址是[1, 2,…

python multiprocessing模块 原文地址 multiprocessing multiprocessing支持子进程.通信和共享数据.执行不同形式的同步,提供了Process.Queue.Pipe.Lock等组件. 创建进程的类:Process([group[, target[, name[, args[, kwargs]]]]]) target表示调用对象 args表示调用对象的位置参数元组. kwargs表示调用对象的字典.name为别名. group表示线程组. 方法: i…

1. 如果我的脚本error handling 做的好,在ctrl+c退出的时候是不是不应该有任何traceback log? 2. repr() str() eval() 之间的区别? 3. 参数传递是传值还是传引用?name binding 应该是传引用,但是name binding是可以修改的 4. scope/block有哪些?package, module, class, function 5. 内置数据结构和基本操作用法 6. everything is object?每个objec…

用 Python 做项目时,经常会遇到与日期转换相关,日期计算相关的功能,动不动就要去查python手册,感觉麻烦,因此把自己常用的一些东西,总结了一下,总体说来到目前为止遇到如下一些需求: 1. 用python 把datetime转成字符串 2. 用python 把字符串转成datetime 3. 用python 把字符串转成时间戳形式 4. 用python 把时间戳转成字符串形式 5. 用python 把把datetime类型转外时间戳形式 6. 用python 计算两个日期之间的差 7.…

Python所有的异常都是从BaseException类派生的,常见的错误类型和继承关系如下: BaseException +-- SystemExit +-- KeyboardInterrupt +-- GeneratorExit +-- Exception      +-- StopIteration      +-- StandardError      |    +-- BufferError      |    +-- ArithmeticError      |    |    +-…

1.# -*- coding: utf-8 -*-代码首部添加这个,不然会报Non_ASCII charater错误 python闭包:实际应用场景1.保持闭包运行完后的环境: 2.根据外部作用域的局部变量来得到不同的结果:类似配置功能的作用 举两例说明: 1.如果你希望函数每次的执行结果,都是基于这个函数的上次的运行结果,那么就应用闭包实现棋子移动,保留上次棋子移动到得位置 origin=[0,0] #原点 def create(p=origin): def move(derection,st…

其他相关 一.isinstance(obj, cls) 检查是否obj是否是类 cls 的对象 1 2 3 4 5 6 class Foo(object):     pass   obj = Foo()   isinstance(obj, Foo) 二.issubclass(sub, super) 检查sub类是否是 super 类的派生类 1 2 3 4 5 6 7 class Foo(object):     pass   class Bar(Foo):     pass   issubcl…

集合相关操作 集合是一个无序的,不重复的数据组合,它有着两个主要作用:去重以及关系测试. 去重指的是当把一个列表变成了集合,其中重复的内容就自动的被去掉了 关系测试指的是,测试两组数据之间的交集.差集.并集等关系. 去重测试代码如下: # 创建一个列表 -- 里面存在一些重复值 test_list = [1,2,3,4,2,2,3,4,3,2,3,4] # 利用集合将列表中重复的内容去掉 test_list = set(test_list) # 打印测试并且查看test_list 被赋予新值后的…

字符编码相关 什么是字符编码 字符编码的类型 字符编码的使用 python2和python里字符编码的区别 文件的相关 文件的基础操作 打开文件的模式 字符编码 什么是字符编码在计算机里只识别二进制,为了方便人类的理解,出现了ASCII等编码格式,方便人们阅读理解. 字符编码的类型 ASCII编码在计算机发展的初期没有考虑到计算机的极速发展,所以考虑到英文的支持使用了ASCII编码,在ASCII理一个bytes代表一个字符,1bytes=8bit,8bit可以表示0-2**81种变化,即可以表示…

在使用Kafka-python时自己写的一个bug 我在一个进程的__init__中初始化了一个producer,但是一直不好用 但是在函数里直接new一个就好用了 why? 需要说明的是producer中新建了一个sender,这个sender是一个线程 这是一个相似的问题,作者给出了解答 https://github.com/dpkp/kafka-python/issues/570 为何在__init__中初始化一个实例成员和run()中初始化会不一样 init的时候进程还没创建,只是新建了…

在学习了python相关技术之后,开始重视其开发规范,以满足代码的可读性以及可维护性.主要的是学习了PEP8-style for python code的相关内容. 代码布局 缩进:每一级4个缩进.连续跨行应该使用圆括号或大括号或者使用悬挂缩进. # 定界符(圆括号或大括号) foo = long_function_name(var_one, var_two, var_three, var_four) # 更多缩进加以区分 def long_function_name( var_one, var…

今天原本想研究下MultiProcessing标准库下的进程间通信,根据 MultiProcessing官网 给的提示,有两种方法能够来实现进程间的通信,分别是pipe和queue.因为看queue顺眼,就想着拿queue实现,后来,被坑了....于是有了这篇文章.我按照 python标准库之MultiProcessing库的研究 (1) 里面的代码来的,结果就是不断的出错,死过就是不出结果,看看程序: from multiprocessing import Pool, queues impor…

 推荐教程 官方文档 multiprocess各个模块较详细介绍 廖雪峰教程--推荐 Pool中apply, apply_async的区别联系 (推荐)python多进程的理解 multiprocessing Process join run multiprocessing.Manager.Queuue vs multiprocessing.Queuue 队列 说明 multiprocessing.Queuue 只应通过继承在进程之间共享 Queue 对象 multiprocessing.Ma…

这几天学习python,写正则表达式相关代码如下: import re print(re.search(r'(?<=<(\w+)>).*(?=<\/\1>)',"<b>ewuiiriur</b>sdksfkj").span()) 报错如下: raise error("look-behind requires fixed-width pattern")sre_constants.error: look-behind…

在写python多线程代码的时候,会用到multiprocessing这个包,这篇文章总结了一些这个包在多进程管理方面的一些原理和代码分析. 1. 问题一:是否需要显式调用pool的close和join方法,不调用的话,子进程是否无法退出? 首先初始化Pool的时候,指定processes的个数,就是pool中worker的个数,pool初始化的时候,会把worker以daemon=True的子进程方式启动起来. def _repopulate_pool(self): """…

什么是爬虫 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 哪些语言可以实现爬虫 1.php:可以实现爬虫.但是php在实现爬虫中支持多线程和多进程方面做得不好. 2.java:可以实现爬虫.java可以非常好的处理和实现爬虫,是唯一可以与python并驾齐驱的.但是java实现爬虫代码较为臃肿,重构成本较大. 3.c.c++:可以实现爬虫.相比较来说难度比较大. 4.python:可以实现爬虫.python实现和处理爬虫语法简单,代码优美学习成本低,支持的模块比较多,具…

使用python的threading中的Thread 下面是两种基本的实现线程的方式: 第一种方式———— #coding=utf-8 """ thread的第一种声明及调用方式 """ from threading import Thread import time def func(): while True: print time.ctime() time.sleep(1) def func1(): while True: print &q…

#-*-coding:utf-8-*- '''multiprocessing模块提供了一个Pool类来代表进程池对象 1.Pool可以提供指定数量的进程供用户调用,默认大小是CPU的核心数: 2.当有新的请求提交到Pool中,如果池还没有满,name就会创建一个新的进程用来执行改请求: 3.但如果池中的进程数已经达到规定最大值,那么该请求就会等待池中有进程结束,才会创建新的进程. ''' from multiprocessing import Pool import os,time,random…

集合相关操作 集合是一个无序的,不重复的数据组合,它有着两个主要作用:去重以及关系测试. 去重指的是当把一个列表变成了集合,其中重复的内容就自动的被去掉了 关系测试指的是,测试两组数据之间的交集.差集.并集等关系. 去重测试代码如下: # 创建一个列表 -- 里面存在一些重复值 test_list = [1,2,3,4,2,2,3,4,3,2,3,4] # 利用集合将列表中重复的内容去掉 test_list = set(test_list) # 打印测试并且查看test_list 被赋予新值后的…

在运维工作中,经常要处理大量数据,或者要跑一些时间比较长的任务,可能都需要用到多进程,不管是管理端下发任务,还是客户端执行任务,如果服务器配置还可以,跑多进程还是挺能解决问题的 Multiprocessing Pool 如果任务需要启动大量子进程,用一下multiprocessing Pool 是比较好的,类似如下用法 #!/usr/bin/env python # coding:utf8 #author:shantuwqk@163.com from multiprocessing import…

Django框架 1.django框架.flask框架和Tornado框架的区别? django框架,内置组件多,自身功能强大,是一个大而全的框架,ORM.Admin.中间件.Form.ModelFrom.信号.缓存.csrf等flask框架,内置组件少,但第三方丰富,可扩展性强,是一个微小型框架,组件有flask-session.flask-SQLAlchemy.wtforms.flask-migrate.flask-script.blinker相同点: 两个框架都是基于wsgi协议实现的,只…

python基础 a. Python(解释型语言.弱类型语言)和其他语言的区别? 一.编译型语言:一次性,将全部的程序编译成二进制文件,然后在运行.(c,c++ ,go) 运行速度快.开发效率低 二.解释型语言:当你的程序运行时,一行一行的解释,并运行.(python , PHP) 运行速度相对较慢,但是调试代码很方便,开发效率高 三.混合型:(C#,Java) python特点: python代码结构清晰简洁.简单易学 开发效率非常高,Python有非常强大的第三方库 可移植性--由于pyth…

1.文件 open()代开文件或者创建文件 fout=open('oops.txt','wt') print('Oops, I created a file.',file=fout) fout.close() exists()检查文件是否存在,传入相对或者绝对路径 import os >>>os.path.exist('oops.txt') True >>>os.path.exist('./oops.txt') True >>>os.path.exis…

想要弄清楚内存相关的问题,就要理清楚:变量.内存地址.值之间的关系:1.程序里什么时候分配新的内存地址?答:1.定义一个变量,内存就开辟一个内存空间,分配一个内存地址. 特殊: 如:a=687 a=197 print(a)# 输出197 这是2内存个地址,输出a,是输出第二a的个值,a指向值为197的内存地址,第一个a的值687 还存在,但是a不指向它了, 2.一个列表里的变量存放的是啥?答:放的是变量的内存地址 3.变量的类型可以是哪些? 答:整数,字符串,列表,字典,元组,所有数据类型 4.…