.安装zookeeper 本博客全部内容是原创.假设转载请注明来源 http://blog.csdn.net/myhaspl/ myhaspl@aaayun:~/jzmq-master$cd .. myhaspl@aaayun:~$wget http://apache.fayea.com/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz myhaspl@aaayun:~$tar -xzvf zookeeper-3.3.6.tar.gz $cd zo…

第一个參数iter是一个迭代器,涉及被map函数产生的键和值.它们是reduce实例. 在本例中.单词随机被托付给不同的reduce实例.然后,要单词同样,处理它的reduce也同样.可确保终于合计是正确的. 第二个參数params与map函数中一致,在此.仅简单使用disco.util.kvgroup()来提取每一个单词统计计数.累计计数,yield(产生)结果. 执行作业 以下開始执行作业.可使用大量參数定制作业,但通常来说.对于简单的任务来说 ,仅使用当中3个就可以.除了启动作业之外,我们…

pwd显示当前文件夹,ls查看文件夹下的文件,cd 进入文件夹 -bash-4.2$ pwd /home/myhaspl-bash-4.2$ lsabc        hadoop-2.4.1             mydoclist  mypylst   mypylsts  numpyabd        hadoop-2.4.1-src.tar.gz  myl2       mypylst1  myrun     pypy-2.3.1-srcerror.log  hadoop-2.4.1.…

svm小结 1.超平面 两种颜色的点分别代表两个类别,红颜色的线表示一个可行的超平面.在进行分类的时候,我们将数据点  x 代入  f(x)  中,如果得到的结果小于 0 ,则赋予其类别 -1 ,如果大于 0 则赋予类别 1 .如果  f(x)=0 ,则很难办了,分到哪一类都不是.事实上,对于  f(x)  的绝对值很小的情况,我们都很难处理,因为细微的变动(比如超平面稍微转一个小角度)就有可能导致结果类别的改变.理想情况下,我们希望  f(x)  的值都是很大的正数或者很小的负数,这样我们就能…

拉普拉斯算子进行二维卷积计算,线性锐化滤波 # -*- coding: utf-8 -*- #线性锐化滤波-拉普拉斯算子进行二维卷积计算 #code:myhaspl@myhaspl.com import cv2 import numpy as np from scipy import signal fn="test6.jpg" myimg=cv2.imread(fn) img=cv2.cvtColor(myimg,cv2.COLOR_BGR2GRAY) srcimg=np.array(…

PCA 主成分分析(Principal components analysis,PCA),维基百科给出一个较容易理解的定义:“PCA是一个正交化线性变换,把数据变换到一个新的坐标系统中,使得这一数据的任何投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推,具体来说,在欧几里得空间给定一组点数,第一主成分对应于通过多维空间平均点的一条线,同时保证各个点到这条直线距离的平方和最小.去除掉第一主成分后,用同样的方法得到第二主成分.依此类推.在Σ中的奇异值…

指数变换的基本表达式为:y=bc(x-a)-1 当中參数b.c控制曲线的变换形状,參数a控制曲线的位置. 指数变换的作用是扩展图像的高灰度级.压缩低灰度级.能够用于亮度过高的图像 本博客全部内容是原创,假设转载请注明来源 http://blog.csdn.net/myhaspl/ 对太阳图像进行变换,使低亮度区(温度较低区域)不再显示,突出亮度区(温度较高区域). newimg=np.array(np.power(b,c*(img-a))-1,np.uint8) cv2.imshow('src'…

SVM是新近出现的强大的数据挖掘工具,它在文本分类.手写文字识别.图像分类.生物序列分析等实际应用中表现出非常好的性能.SVM属于监督学习算法,样本以属性向量的形式提供,所以输入空间是Rn的子集. 图1 如图1所示,SVM的目标是找到两个间距尽可能大的边界平面来把样本本点分开,以”最小化泛化误差“,即对新的样本点进行分类预测时,出错的几率最小.落在边界平面上的点称为支持向量.Vapnik证明如果可以找到一个较小的支持向量集,就可以保证得到很好的泛化能力----也就是说支持向量的个数越少越好. 数…

# -*- coding: utf-8 -*- #code:myhaspl@myhaspl.com #邻域平均法滤波,半径为2 import cv2 import numpy as np fn="test3.jpg" myimg=cv2.imread(fn) img=cv2.cvtColor(myimg,cv2.COLOR_BGR2GRAY) #加上椒盐噪声 param=20 #灰阶范围 w=img.shape[1] h=img.shape[0] newimg=np.array(img…

我们应用SVM的非线性分类功能对手写数字进行识别,我们在这应用poly做为非线性核 svm = mlpy.LibSvm(svm_type='c_svc', kernel_type='poly',gamma=10) svm.learn(x, y) 我们按像素分块读取数字特征后,形成训练样本,送入SVM训练 本博客所有内容是原创,如果转载请注明来源 http://blog.csdn.net/myhaspl/ 对样本本身测试 print svm.pred(x) 对供测试的未知样本进行测试 测试代码如下…

# -*- coding: utf-8 -*- #code:myhaspl@myhaspl.com #归一化块滤波 import cv2 import numpy as np fn="test3.jpg" myimg=cv2.imread(fn) img=cv2.cvtColor(myimg,cv2.COLOR_BGR2GRAY) #加上高斯噪声,能够參考曾经博文中的内容 ...... ...... #滤波去噪 lbimg=cv2.blur(newimg,(3,3)) cv2.imsh…

我们来看一个灰度图像,让表示灰度出现的次数,这样图像中灰度为 的像素的出现概率是  是图像中全部的灰度数, 是图像中全部的像素数,  实际上是图像的直方图,归一化到 . 把  作为相应于  的累计概率函数, 定义为:  是图像的累计归一化直方图. 我们创建一个形式为  的变化,对于原始图像中的每一个值它就产生一个 ,这样  的累计概率函数就能够在全部值范围内进行线性化,转换公式定义为: 注意 T 将不同的等级映射到  域.为了将这些值映射回它们最初的域,须要在结果上应用以下的简单变换: 上面描写…

PyPy是Python开发人员为了更好的Hack Python创建的项目.此外,PyPy比CPython是更加灵活,易于使用和试验,以制定详细的功能在不同情况的实现方法,能够非常easy实施. 该项目的目标是,让PyPy比C实现的Python更为easy的适应各个项目和方便裁剪. PyPy的第一部分:用Python实现的Python 事实上这么说并不准确,准确得说应该是用rPython实现的Python.rPython是Python的一个子集,尽管rPython不是完整的Python,但用rPy…

filter2D Convolves an image with the kernel. C++: void filter2D(InputArray src, OutputArray dst, int ddepth, InputArraykernel, Point anchor=Point(-1,-1), double delta=0, int borderType=BORDER_DEFAULT ) Python: cv2.filter2D(src, ddepth, kernel[, dst[,…

shell命令行参数 -bash-4.2$ cat test1.sh#!/bin/shecho "$0  "echo "$1  "echo "$2  " -bash-4.2$ ./test1.sh a b c./test1.sh  a  b  -bash-4.2$ 本博客全部内容是原创,假设转载请注明来源 http://blog.csdn.net/myhaspl/ 显示全部命令行參数 -bash-4.2$ cat test1.sh#!/bin/s…

夹: ~表示当前用户的主文件夹 .它代表了当前文件夹 ..它代表的父文件夹 链接文件 使用不同的文件名指的是相同的数据或程序.硬链接 在相同的物理文件系统,创建一个硬链接 -bash-4.2$ find ~ -name "*.py">mypylist ls -la 表示以长格式的形式查看当前文件夹下全部文件,包含隐藏文件,各字段含义例如以下: 7个段各自是: 文件属性:drwxr-xr-x 文件硬链接数或文件夹子文件夹数:3 (一个空文件夹的该字段是2.表示该文件夹下有两个子文件…

插值 Python: cv2.resize(src, dsize[, dst[, fx[, fy[, interpolation]]]]) → dst interpolation – interpolation method: INTER_NEAREST - a nearest-neighbor interpolation INTER_LINEAR - a bilinear interpolation (used by default) INTER_AREA - resampling using…

拉普拉斯线性滤波,.边缘检測  . When ksize == 1 , the Laplacian is computed by filtering the image with the following  aperture: Laplace 计算图像的 Laplacian 变换 void cvLaplace( const CvArr* src, CvArr* dst, int aperture_size=3 ); src 输入图像. dst 输出图像. aperture_size 核大小 (…

Get the source code. The following packages contain the source at the same revision as the above binaries: pypy-2.3.1-src.tar.bz2 (sources, Unix line endings) pypy-2.3.1-src.zip (sources, Unix line endings too) Or you can checkout the current trunk u…

Blurs an image using the median filter. C++: void medianBlur(InputArray src, OutputArray dst, int ksize)highlight=smooth#void medianBlur(InputArray src, OutputArray dst, int ksize)" title="Permalink to this definition" style="color: rg…

Format characters have the following meaning; the conversion between C and Python values should be obvious given their types. The 'Standard size' column refers to the size of the packed value in bytes when using standard size; that is, when the forma…

高斯滤波就是对整幅图像进行加权平均的过程.每个像素点的值,都由其本身和邻域内的其它像素值经过加权平均后得到.高斯滤波的详细操作是:用一个模板(或称卷积.掩模)扫描图像中的每个像素.用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值. #滤波去噪 lbimg=cv2.GaussianBlur(newimg,(3,3),1.8) cv2.imshow('src',newimg) cv2.imshow('dst',lbimg) cv2.waitKey() cv2.destroyAllWin…

>>>> mya=np.zeros(shape=(2,2)) >>>> mya array([[ 0.,  0.], [ 0.,  0.]]) >>>> mya=np.empty(shape=(2,2)) >>>> mya array([[ 0.,  0.], [ 0.,  0.]]). 创建数组元素为float的数组. >>>>mya=np.array([1,2,3,4,5,6],dt…

图像产生加性零均值高斯噪声.在灰度图上加上噪声,加上噪声的方式是每一个点的灰度值加上一个噪声值.噪声值的产生方式为Box-Muller算法生成高斯噪声. 在计算机模拟中,常常须要生成正态分布的数值.最主要的一个方法是使用标准的正态累积分布函数的反函数. 除此之外还有其它更加高效的方法.Box-Muller变换就是当中之中的一个. 还有一个更加快捷的方法是ziggurat算法.以下将介绍这两种方法. 一个简单可行的而且easy编程的方法是:求12个在(0,1)上均匀分布的和.然后减6(12的一半)…

N .有用的线性代数.傅里叶变换和随机数生成函数.numpy和稀疏矩阵运算包scipy配合使用更加方便.NumPy(Numeric Python)提供了很多高级的数值编程工具,如:矩阵数据类型.矢量处理.以及精密的运算库. 专为进行严格的数字处理而产生.多为非常多大型金融公司使用.以及核心的科学计算组织如:LawrenceLivermore,NASA用其处理一些本来使用C++.Fortran或Matlab等所做的任务. git clonehttps://bitbucket.org/pypy/nu…

本文将介绍“数据计算”环节中常用的三种分布式计算组件——Hadoop.Storm以及Spark. 当前的高性能PC机.中型机等机器在处理海量数据时,其计算能力.内存容量等指标都远远无法达到要求.在大数据时代,工程师采用廉价的PC机组成分布式集群,以集群协作的方式完成海量数据的处理,从而解决单台机器在计算与存储上的瓶颈.Hadoop.Storm以及Spark是常用的分布式计算组件,其中Hadoop是对非实时数据做批量处理的组件:Storm和Spark是针对实时数据做流式处理的组件. 1．Hadoo…

一.MapReduce概述 Hadoop MapReduce是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集. MapReduce作业通过将输入的数据集拆分为独立的块,这些块由map以并行的方式处理,框架对map的输出进行排序,然后输入到reduce中.MapReduce框架专门用于<key,value>键值对处理,它将作业的输入视为一组<key,value>对,并生成一组<key,value>对作为输出.…

Math数学对象 ceil(数值)大于或等于该数的最小整数 floor(数值)小于或等于该数的最大整数 min(数值1,数值2)返回最小值 max(数值1,数值2)返回最大值 pow(数值1,数值2)返回数值1的数值2次方 random()返回随机数[0,1) round(数值)四舍五入 sqrt(数值)开平方根…

0. 背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛.本来想就写Spark源码分析的文章吧.但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量不够.因此,我将最近一直在做的系统架构的思路整理出来,形成此文.为什么要参考Storm和Spark,因为没有参照效果可能不会太好,尤其是对于Storm和Spark由了解的同学来说,可能通过对比,更能体会到每个具体实现背后的意义. 本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间…

初学storm,有不足的地方还请纠正. 网上看了很多wordcount实例,发现都不是我想要的. 实现场景:统计shengjing.txt词频到集合,一次打印结果. ● 消息源Spout 继承BaseRichSpout类 / 实现IRichSpout接口 open,初始化动作: nextTuple,消息接入,执行数据发射: ack,tuple成功处理后调用: fail,tuple处理失败后调用: declareOutputFields,声明输出字段: ● 处理单元Bolt 继承BaseBasic…