先上一个例子,这段代码是为了评估一个预测模型写的,详细评价说明在 https://www.kaggle.com/c/how-much-did-it-rain/details/evaluation, 它的核心是要计算 在实际计算过程中,n很大(1126694),以至于单进程直接计算时间消耗巨大(14分10秒), 所以这里参考mapReduce的思想,尝试使用多进程的方式进行计算,即每个进程计算一部分n,最后将结果相加再计算C 代码如下: import csv import sys import l…

问题背景:指定爬虫depth.线程数, python实现并行爬虫   思路:    单线程 实现爬虫类Fetcher                 多线程 threading.Thread去调Fetcher   方法:Fetcher 中,用urllib.urlopen打开指定url,读取信息: response = urllib.urlopen(self.url) content = response.read() 但是这样有问题, 比如对于www.sina.com来说,读出来的content…

python抓取网页例子 最近在学习python,刚刚完成了一个网页抓取的例子,通过python抓取全世界所有的学校以及学院的数据,并存为xml文件.数据源是人人网. 因为刚学习python,写的代码还不够Pythonic. 核心代码如下: #!/usr/bin/python import urllib.request from html.parser import HTMLParser import json import time import xml.dom.minidom import…

比较简单的并行求和 读入还是串行的 而且无法处理线程数无法整除数据总长度的情况 主要用到了MPI_Bcast MPI_Scatter MPI_Reduce typedef long long __int64; #include "mpi.h" #include <cstdio> #include <cmath> using namespace std; int main(int argc, char* argv[]){ int my_rank=0, comm_s…

目录 一.大数据时代的现状 二.面对挑战的方法 2.1 并行计算 2.2 改用GPU处理计算密集型程序 3.3 分布式计算 三.用python写并行程序 3.1 进程与线程 3.2 全局解释器锁GIL: 3.3 multiprocessing 四.multiprocessing实战 总结 小子今天想来谈谈"并行计算",作为一个非科班人员,我为什么去捣鼓这么一个在科班里也比较专业的问题了.这就要说下我前几天做的一个作业了,当时我用python写了个程序,结果运行了一天,这个速度可让我愁了…

Python,while循环小例子--猜拳游戏(三局二胜) import random all_choice = ['石头', '剪刀', '布'] prompt = '''(0)石头 (1)剪刀 (2)布 请选择(0\1\2)''' # 人的计分板 pwin = 0 # 计算机的计分板 cwin = 0 # 人和计算机都没有赢够两次则继续 while pwin < 2 and cwin < 2: # 人的选择在前,计算机随机选择在后,组成小列表,把所有人赢的情况再放到大列表中 win_lis…

http://blog.sina.com.cn/s/blog_70e50f090101lat2.html 1.并行遍历:zip和map 内置的zip函数可以让我们使用for循环来并行使用多个序列.在基本运算中,zip会取得一个或多个序列为参数,然后返回元组的列表,将这些序列中的并排的元素配成对. 示例一: L1 = [1,2,3,4] L2 = [5,6,7,8] 要合并这些列表中的元素,可以使用zip来创建一个元组对的列表.与range一样,zip是一个可迭代对象,因此,必须将其包含在一个li…

python用缩进(四个空格,不是teble)来区分代码块 1. coding=utf-8    字符编码,支持汉字 #!/usr/bin/env python# coding=utf-8print "hello world"print "你好 世界" 2. 字面常量:顾名思义,就是看到是什么就是什么 变量命名:字母或者下划线或者数字组成,不过数字不能作为开头,关键字不能作为变量名(例如for,if等) 3. 数据类型:强类型(不允许非同类数据之间进行运算) typ…

[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 [15]: myDF=peopleDF.where("age>21") In [16]: myDF.limit(2).show() +---+-------+-----+----+|age| name|pcode|pcoe|+---+-------+-----+----+| 30|Brayden|94304|null|| 46| Diana| null|null|+---+-------+-----…

[Spark][Python]DataFrame中取出有限个记录的例子 的 继续 In [4]: peopleDF.select("age")Out[4]: DataFrame[age: bigint] In [5]: myDF=people.select("age")---------------------------------------------------------------------------NameError Traceback (most…

CSV(comma-separated values) 是跨多种形式导入导出数据的标准格式,比如 MySQL.Excel. 它以纯文本存储数和文本.文件的每一行就代表一条数据,每条记录包含了由逗号分隔的一个或多个属性值.这个标准格式的名字来源就是每条记录是用逗号将其属性分隔的. 即使有这个非常明显的命名标准,而实际上却没有一个官方的标准 CSV 格式,有可能是以一些比较类似的分隔符来分隔数据,虽然它们的扩展是 .csv 但是实际上却用了各种符号,空格.tab,这些也是比较流行的符号.有时由于缺少…

GIL 与 Python 线程的纠葛 GIL 是什么东西?它对我们的 python 程序会产生什么样的影响?我们先来看一个问题.运行下面这段 python 程序,CPU 占用率是多少? # 请勿在工作中模仿,危险:) def dead_loop(): while True: pass dead_loop() 答案是什么呢,占用 100% CPU?那是单核!还得是没有超线程的古董 CPU.在我的双核 CPU 上,这个死循环只会吃掉我一个核的工作负荷,也就是只占用 50% CPU.那如何能让它在双核…

在python上开启多个线程,由于GIL的存在,每个单独线程都会在竞争到GIL后才运行,这样就干预OS内部的进程(线程)调度,结果在多核CPU上: python的多线程实际是串行执行的,并不会同一时间多个线程分布在多个CPU上运行. 但是这里有个有趣的现象: python开启两个死循环的线程,在我的2核机器上会有如下CPU使用情况,每个CPU都维持在50%左右的使用率(见下图). 难道python的多线程可以在多核上并行?当然不是,在GIL存在的python上,多线程应该是不可能并行的.这里其实…

Map是一个酷酷的小东西,也是在Python代码轻松引入并行的关键.对此不熟悉的人会认为map是从函数式语言(如Lisp)借鉴来的东西.map是一个函数 - 将另一个函数映射到一个序列上.例如: urls = ['http://www.yahoo.com', 'http://www.reddit.com'] results = map(urllib2.urlopen, urls) 这段代码在传入序列的每个元素上应用方法urlopen,并将所有结果存入一个列表中.大致与下面这段代码的逻辑相当: r…

客户端(client.py) import socket import sys port = 70 host = sys.argv[1] filename = sys.argv[2] s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.connect((host, port)) fd = s.makefile("rw", 0) fd.write(filename + "\n") for line in fd…

python中,无论是对的list求和还是求积,我都给出了两种方法. 1.对list求和 1.1 s=0 for i in range(10): s+=i 1.2 s=sum(range(10)) 2 .对list求积 2.1 s=0 for i in range(1,10): s*=i 2.2 from operator import mul reduce(mul,range(1,10)…

语法 get()方法语法: dict.get(key, default=None) 参数 key -- 字典中要查找的键. default -- 如果指定键的值不存在时,返回该默认值值. 返回值 返回指定键的值,如果值不在字典中返回默认值None. 实例 以下实例展示了 get()函数的使用方法: #!/usr/bin/python dict = {'Name': 'Zara', 'Age': 27} print "Value : %s" % dict.get('Age') print…

K8Cscan C# DLL例子代码 namespace CscanDLL { public class scan { public static string run(string ip) { if (string.IsNullOrEmpty(ip)) return ""; else return ip; } } } Python 调用C#  DLL代码 import clr #pythonnet print('python call K8Cscan c# dll') clr.Fin…

概述: 非并发: 1 程序由单个步骤序列构成  2 包含独立子任务的程序执行性能低 并发:  1 异步.高效  2 分解子任务.简化流程与逻辑 进程process:1 一个程序的执行实例  2 每个进程有自己的地址空间.内存.数据栈及辅助数据 线程 thread: 1 同一进程内,可被并行激活的控制流  2 共享相同上下文(空间地址.数据结构) 特点 1 便于信息共享和通信  2线程访问顺序差异会导致结果不一致(条件 race condition) Python GIL 全局解释器锁:Globa…

Excel选中区域,排除序号.姓名等列,复制Ctrl+C. Python,import pandas as pd,读取剪切板并赋值给变量df,df.groupby('部门').sum().若要避免部门变为index,df.groupby('部门',as_index=0).sum(). 如果要点人头,要多几步.最后把df导出为Excel,或者CSV. 代码写成文件,复制Excel区域后双击文件运行,把生成的Excel/CSV重命名,相当于有了分组求和的快照.…

appium 安装和python 安装好后. 1.      启动android模拟器--Genymotion-点击Start 2.      启动appium 3.     运行代码. # -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver import DesiredCapabilitiesfrom selenium.common.exceptions import TimeoutExcepti…

上周尝试用opencl求极大值,在网上查到大多是求和,所谓的reduction算法.不过思路是一样的. CPP: ; unsigned ; ; ; int nGroup = nGroupSize / nLocalSize; int* pArray = new int[nNumCount]; unsigned ; int nStart = GetTickCount(); ;i<nNumCount;++i) { pArray[i] = i*; nReal += pArray[i]; } cout<…

这篇文章包括用Python编写的斐波那契数列,三位数的水仙花数和百钱买百鸡的基础代码: (一)斐波那契数列: ''' def hanshu(n): n_1 = 1 n_2 = 1 m = n sumn = 0 for a in range(1,m+1): if m == 1: return n_1 if m== 2: return n_2 sumn = n_1 + n_2 n_2 = n_1 n_1 = sumn print(sumn,end = " ") hanshu(20) '''…

[Spark][Python]DataFrame中取出有限个记录的   继续 In [4]: peopleDF.select("age","name") In [11]: myDF=peopleDF.select("age","name") In [14]: myDF.limit(2).show() +----+-------+| age| name|+----+-------+|null| Alice|| 30|Brayde…

RDD flatMap 操作例子: flatMap,对原RDD的每个元素(行)执行函数操作,然后把每行都“拍扁” [training@localhost ~]$ hdfs dfs -put cats.txt[training@localhost ~]$ hdfs dfa -cat cats.txtError: Could not find or load main class dfa[training@localhost ~]$ hdfs dfs -cat cats.txtThe cat on…

#coding=utf-8import multiprocessing as mpimport time def consumer(cond):    with cond:        print "consumer before wait"        cond.wait()        print "consumer after wait" def producer(cond):    with cond:        print "produ…

业务监控,多线程例子,实现每类个监控项的不同监控间隔. #coding=utf-8import sysimport pymysqlimport osfrom prometheus_client import Gauge,start_http_serverimport timeimport threading#v_host=os.popen('echo $HOSTNAME')#hostname=v_host.read()#hstname="".join(hostname)#print(h…

1. copy.copy 浅拷贝 只拷贝父对象,不会拷贝对象的内部的子对象.2. copy.deepcopy 深拷贝 拷贝对象及其子对象一个很好的例子:import copya = [1, 2, 3, 4, ['a', 'b']] #原始对象 b = a  #赋值,传对象的引用c = copy.copy(a)  #对象拷贝,浅拷贝d = copy.deepcopy(a)  #对象拷贝,深拷贝 a.append(5)  #修改对象aa[4].append('c') #修改对象a中的['a', 'b…

step1:下载cx_Oracle模块,cmd--pip install cx_Oracle step2: 1 import cx_Oracle #引用模块cx_Oracle 2 conn=cx_Oracle.connect('truck/******@10.74.**.**:****/****') #连接数据库 3 c=conn.cursor() #获取cursor 4 x=c.execute('select sysdate from dual') #使用cursor进行各种操作 5 x.fe…

1.shell #!/bin/bash anynowtime="date +'%Y-%m-%d %H:%M:%S'" NOW="echo [\`$anynowtime\`][PID:$$]" ##### 可在脚本开始运行时调用,打印当时的时间戳及PID. function job_start { echo "`eval $NOW` job_start" } ##### 可在脚本执行成功的逻辑分支处调用,打印当时的时间戳及PID. function…