1.设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName("job name"); job.setNumReduce(2); 2.设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class); 3.设置Job的输入输出格式 void setInputFormatClass(Class<? exten…

(一)备份namenode的元数据 namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用.因此应该经常对元数据进行备份,最好是异地备份. 1.将元数据复制到远程站点 (1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器 #!/bin/bash export dirname=/mnt/tmphadoop/dfs/namesecondary/current/`date +%y%m%d%H` if [ ! -d…

在使用vs2013调用vc2005编译出的dll时出现错误,遂将源程序用vs2013编译出dll,再用vs2013调用错误消失,不解.寻找原因时有人说"VC库版本不一样",故查找C++运行库的相关知识,查到了如下文章,原文地址如下: http://blog.csdn.net/ithzhang/article/details/20160009 原文如下: 在使用VC构建项目时,经常会遇到下面的链接错误: 初学者面对这些错误常常不知所错:libcmt.lib是什么东西?msvcrtd.dl…

首先介绍一下 Case ..When...Then..End  的用法: CASEJiXiaoFind_RowID  WHEN '1' THENJiXiao_Money1  WHEN '2' THEN JiXiao_Money2  WHEN '3' THEN JiXiao_Money3  WHEN '4' THEN JiXiao_Money4  ELSE JiXiao_Money5  END 举例说明: 上图是一个视图的截图,我想在 表B 中添加一个字段 JiXiao_Money(绩效金额):…

如果需要将UIView的4个角全部都为圆角,做法相当简单,只需设置其Layer的cornerRadius属性即可(项目需要使用QuartzCore框架).而若要指定某几个角(小于4)为圆角而别的不变时,这种方法就不好用了. 对于这种情况,Stackoverflow上提供了几种解决方案.其中最简单优雅的方案,就是使用UIBezierPath.下面给出一段示例代码. UIView *view2 = [[UIView alloc] initWithFrame:CGRectMake(120, 10, 8…

介绍性内容来自:http://www.uml.org.cn/sjjm/201305171.asp 一.Ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点.每台计算机都运行一个收集和发送度量数据(如处理器速度.内存使用量等)的名为 gmond 的守护进程.它将从操作系统和指定主机中收集.接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中.正因为有这种层次结构模式,才使得 Ganglia 可以实现良好的扩…

以下程序在hadoop1.2.1上测试成功. 本例先将源代码呈现,然后详细说明执行步骤,最后对源代码及执行过程进行分析. 一.源代码 package org.jediael.hadoopdemo.wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path;…

hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数.但是通过这种方式设置map的个数,并不是每次都有效的.原因是mapred.map.tasks只是一个hadoop的参考数值,最终map的个数,还取决于其他的因素.      为了方便介绍,先来看几个名词: block_size : hdfs的文件块大小,默认为64M,可以通过参数dfs.block.size设置 total_size : 输入文件整体的大小 input_file_…

1.设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName("job name"); job.setNumReduce(2); 2.设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class); 3.设置Job的输入输出格式 void setInputFormatClass(Class<? exten…

1.下载hadoop-eclipse-plugin-1.2.1.jar,并将之复制到eclipse/plugins下. 2.打开map-reduce视图 在eclipse中,打开window-->open perspetive-->other,选择map/reduce. 3.选择Map/Reduce Locations标签页,新建一个Location 4.在project exploer中,可以浏览刚才定义站点的文件系统 5.准备测试数据,并上传到hdfs中. liaoliuqingdeMac…

使用互斥体Mutex类型 导入命名空间 using System.Threading; //声明互斥体 Mutex mutex = new Mutex(false, "ThisShouldOnlyRunOnce"); //判断互斥体是否使用中 , false); if (!Running) Application.Run(new Form1()); else MessageBox.Show("应用程序已经启动!"); 版权声明:本文为博主原创文章,未经博主允许不得转…

最近,一直纠结一个问题:做好的GP模型或者脚本在本地运行,一切正常:发布为GP服务以后时而可以运行成功,而更多的是运行失败,甚至不能知晓运行成功后的结果输出在哪里. 铺天盖地的文档告诉我,如下信息: 这些来自官方的Esri help信息大体可以总结为: GP服务结果的输出路径由服务器管理不能人为控制,即使是指定了它输出的工作环境,服务运行依然会忽略环境设置,而执行的结果会输出在PackageWorkspace指定的路径下,而packageWorkspace又是只读的,不能够对其指定的路径做出修改…

hadoop集群中主要进程有 master:   NameNode, ResourceManager, slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild 其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止.它们的作用分别是: RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等. MRAppMaster:每个job一个进程,主…

hadoop集群性能低下的常见原因 (一)硬件环境 1.CPU/内存不足,或未充分利用 2.网络原因 3.磁盘原因 (二)map任务原因 1.输入文件中小文件过多,导致多次启动和停止JVM进程.可以设置JVM重用. 2.数据倾斜:大文件且不可分割,导致处理这些文件的map需要很长时间. 3.数据本地化效果差. (三)reduce任务的原因 1.reduce任务数量过大或过小 2.数据倾斜:一部分key的记录数量太大,导致某些reduce执行过慢 3.缓慢的shuffle和排序 (四)hadoop…

hadoop存在多种日志文件,其中master上的日志文件记录全面信息,包括slave上的jobtracker与datanode也会将错误信息写到master中.而slave中的日志主要记录完成的task任务信息. 默认情况下,hadoop日志保存在HADOOP_INSTALL/logs目录,但一般情况下建议重新指定路径,常用的是/var/log/hadoop,通过在hadoop-env.sh中增加以下一行来实现: export HADOOP_LOG_DIR=/var/log/hadoop 一.…

转载自:http://www.open-open.com/lib/view/open1328670771405.html 1.Apache Nutch    Apache Nutch是一个用于网络搜索的开源框架,它提供了我们运行自己的搜索引擎所需的全部工具,包括全文搜索和Web爬虫. 1.1.Nutch的组件结构 WebDB:存储网页数据和连接信息 Fetch lists:将WebDB所存储的连接分成多个组,来用于分布式检索 Fetchers:检索Fetch list中的内容并下载到本地,共有两…

1.Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:  org.apache.hado…

getch().getche()和getchar()函数     (1) getch()和getche()函数     这两个函数都是从键盘上读入一个字符.其调用格式为:      getch();      getche();     两者的区别是: getch()函数不将读入的字符回显在显示屏幕上, 而getche() 函数却将读入的字符回显到显示屏幕上.     例1:      #include<stdio.h>      #include<conio.h>      ma…

制作运行库 由于ubuntu的Qt运行库在/usr/local/Trolltech/Qt-4.7.3/下,由makefile可以看到引用运行库是 INCPATH = -I/usr//mkspecs/default -I. -I/usr//include/QtCore -I/usr//include/QtNetwork -I/usr//include/QtGui -I/usr//include -I. -I. -I. 因此如果将编译后的可执行文件在ZedBoard上运行,也许早在相应的路径下找到运…

主要参考rainysky的博客 http://ledage.eefocus.com/sj229335457/blog/13-06/295352_ad954.html opencv的话只需要将lib这个文件里面的内容做成镜像就可以了(如果用这个镜像运行的话,会出现一个问题,就是在运行的时候找不到stdc++.so这个库,因此需要先将这个库copy到/root/opencv-2.4.7/install/lib,源文件在交叉编译器里面,总的命令为: cp /root/CodeSourcery/Sour…

实验简单来讲就是 1. put 一个600M文件,分散3个replica x 9个block 共18个blocks到4个datanode 2. 我关掉了两个datanode,使得大部分的block只在一个datanode上存在,但因为9个很分散,所以文件能正确取回(靠的是checksum来计算文件值) 3. hadoop namenode很迅速的复制了仅有一个replica的block使之成为 3 replica(2) but only found 2 4. 我再关掉一个datanode,结果发…

hadoop通过Configuration类来保存配置信息 1.通过Configuration.addResource()来加载配置文件 2.通过Configuration.get***()来获取配置属性 1.创建一个新的Configuration实例时,会加载core-default.xml与core-site.xml,若还有其它配置,则调用addResource()继续添加. package org.jediael.hadoopdemo; import org.apache.hadoop.c…

Hadoop提供了大量的API对文件系统中的文件进行操作,主要包括: (1)读取文件 (2)写文件 (3)读取文件属性 (4)列出文件 (5)删除文件 1､读取文件 以下示例中,将hdfs中的一个文件读取出来,并输出到标准输出流中. package org.jediael.hadoopdemo.fsdemo; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration;…

1.为什么需要Hadoop 目前,一块硬盘容量约为1TB,读取速度约为100M/S,因此完成一块硬盘的读取需时约2.5小时(写入时间更长).若把数据放在同一硬盘上,且全部数据均需要同一个程序进行处理,此程序的处理时间将主要浪费在I/O时间上. 在过去几十年,硬盘的读取速度并未明显增长,而网络传输速度此飞速上升. 因此,若把数据分散到多个硬盘上进行存储(如分成100份存储在100个硬盘上),则读取数据所需时间大大减少,并将各节点处理好的结果通过网络进行传输. 但这将导致2个问题 (1)数据被分散到…

参考自Google官方文档Traning/Getting Started/Building a simple user interface, Startinganother activity,http://developer.android.com/training/basics/firstapp/building-ui.html 1.创建主Activity 使用Eclipse新建项目MyFirstApp,UI布局如下: <LinearLayout xmlns:android="http:…

今天晚上,出现了一个神奇的WAS问题,详细问题异常信息如下: [15-8-6 22:13:29:146 CST] 00000013 ApplicationMg A WSVR0203I: 应用程序:isclite 应用程序构建级别:WAS61.WSC [cf471333.01] [15-8-6 22:13:32:266 CST] 00000013 CompoundClass E WSVR0120E: 处理 E:\IBM\WebSphere\AppServer\systemApps\isclite.…

主要参考sort函数_百度文库, 但是那篇有错误 2.结构体排序,a升,b降,c降 平板视图 打印? 01 #include <iostream> 02 #include <algorithm> 03 using namespace std; 04 struct data 05 { 06  int a; 07  int b; 08  int c; 09 }; 10 bool cmp(data x,data y) 11 { 12  if(x.a!=y.a) return x.a<…

为了简化命令行方式运行作业,Hadoop自带了一些辅助类.GenericOptionsParser是一个类,用来解释常用的Hadoop命令行选项,并根据需要,为Configuration对象设置相应的取值.通常不直接使用GenericOptionsParser,更方便的方式是:实现Tool接口,通过ToolRunner来运行应用程序,ToolRunner内部调用GenericOptionsParser. 一.相关的类及接口解释 (一)相关类及其对应关系如下: 关于ToolRunner典型的实现方…

部分内容参考:http://www.linuxqq.net/archives/964.html  http://slaytanic.blog.51cto.com/2057708/1100974/ hadoop的重要配置文件有以下几个: 在1.2.1版本中,core-default.xml有73个属性,hdfs-default.xml有76个属性,mapred-default.xml有136个属性. 更多内容请参考P328 一.masters/slaves 1.masters记录的是需要启动sec…

大学最后的考试终于结束了,迎来了暑假和大四的漫长的"自由"假期.当然要自己好好"玩玩"了. 我最近在学习Python,本意是在机器学习深度学习上使用Python进行编程的而学习的.偶然接触了pygame,觉得很感兴趣,所以打算使用pygame制作一个小游戏作为对Python学习和练习. 废话不多说了,先介绍一下pygame. 简要介绍: 请原谅本人比较懒,直接上百度百科进行介绍:(点我打开链接) Pygame是跨平台Python模块,专为电子游戏设计. 包含图像.声…