Mapreduce 是Hadoop上一个进行分布式数据运算和统计的框架,但是每次运行程序的时候都需要将程序打包并上传的集群环境中运行,这就会让程序的调试变得十分不方便.所以在这里写下这篇博客和大家交流学习如何在本地调试Mapreduce程序. 本地是windows系统,文件路径也是本地 首先需要将编译后的windos放入解压后的hadoop解压包的bin目录下,还有hadoop,dll文件不同版本的windows对应的winutils.exe是不同的.具体编译方法,网上可以找到相关教程 这里就不…

windows上先调试该程序,然后再转到linux下. 程序运行的过程中, 报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null \bin\winutils.exe in the Hadoop binaries. 1.将windows编译的hadoop源码里面的bin目录拷贝到安装hadoop解压包bin目录下(网…

相关随笔: Hadoop-1.0.4集群搭建笔记 用python + hadoop streaming 编写分布式程序(二) -- 在集群上运行与监控 用python + hadoop streaming 编写分布式程序(三) -- 自定义功能 MapReduce与HDFS简介 什么是Hadoop? Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System,并发布了相关论文(可在Google Research的网站上获得: GFS . Ma…

1,本地安装hadoop https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 下载hadoop对应版本 (我本意是想下载hadoop 2.7.2没有了) 2,  解压D:\devtool ,3,下载winutils 等一系列东西保证windows下能使用hadoop  不然本地调试会报错:ERROR util.Shell: Failed to locate the winutils binary in the hadoop bin…

1.在github上搜索下载winutils.exe相关的一套文件,下载对应hadoop的版本. 2.将所有文件复制到hadoop的bin目录下 3.将hadoop.dll复制到windows\system32目录下 4.添加环境变量HADOOP_HOME指向hadoop目录 5.将%HADOOP_HOME%\bin加入到path里面 完成上述步骤后,可以在windows环境调试hadoop,也可以本地调试远程节点,可以把本地文件上传到远程hadoop节点上.…

一:简介 最近学习hadoop本地运行模式,在运行期间遇到一些问题,记录下来备用:以运行hadoop下wordcount为例子. hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置,第一个参数用来设置mr程序要在yarn集群中执行,第二个参数设置yarn集群的主节点地址. hadoop默认情况下是在window本地运行.  conf.set("mapreduce.framework.name","yarn");   conf.set("ya…

1.写好的程序直接在hadoop集群里面执行 2.如果需要在本地调试,需要注释掉mapred-site.xml <configuration> <!-- <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> --> </configuration>     解释 :本地不需要此配置 不是运行在…

关键词:hive, debug 本地调试(local debug) Hive 可分为 exec (hive-exec,主要对应源码里的ql目录) 和 metastore 两部分,其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService.前者对应的就是直接执行hive命令的command line,后者对应就是thrift直连或jdbc的连接方式,因此这里其实有个知识点:hive命令的执行是不经过hiveserver2的服务的,虽然底层代码是…

在本地调试,提交到集群上运行. 在本地程序中的Configuration中添加如下配置: Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000"); System.setProperty("HADOOP_USER_NAME","hadoop"); conf.set("mapredu…

VMware虚拟机配置Ubuntu桥接方式(Bridged)使虚拟机和宿主机能互相ping通, 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试 1.设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2.查看Bridged状态 Vmware菜单栏Edit->Virtual Network Editor 要设置成以上bridged模式,先关闭虚拟机,不关闭设置会提示只有虚拟机在power off状态…

本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2     在开发和搭环境时必须注意版本兼容的问题,不然会出现很多莫名其妙的问题   1.启动master进程 ./sbin/start-master.sh   2.启动worker进程 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://hadoop000:7077 [注…

需求说明 如果要本地调试Hbase程序,那么可以用本地连接集群的方式 配置文件 在maven里,配置文件cluster.properties放在target/classes里 cluster.properties的内容如下: hbase.address=hadoop1,hadoop2,.... 读取配置文件代码: import java.io.IOException; import java.util.Properties; public class ClusterConfigUtil { pr…

1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar…

当我们写完一个比较复杂的Topology之后,倘若直接提交到服务器上运行,难免会有很多问题,如何进行本地的调试Topology,是我们非常关心的问题.我们依然以WordCount作为代码示例. 首先,必须调整main函数. 当main函数中,设定薇本地模式后,即可直接如调试Java应用程序一样,调试相应的代码,由于本地调试中,Computing会运行一个Local Cluster,因此在调试的时候,一样要添加对zookeeper的引用,如下: 但是,在最终打包的到服务器上运行的时候,无须将zoo…

OpenCart简介: 免费开源网络版电子商务系统,是建立在线商务网站首选之一.有众多用户和开发基础,结合其丰富特性与模板插件,可最大化定制在线商店.(也就是用来方便开网店的) 本地调试准备: Firefox浏览器 安装思路: 进官网看看有没有安装帮助->安装帮助下载环境&源代码->配置环境->成功运行 安装开始: 首先进官网 http://www.opencartchina.com/ 看到帮助手册就点进去,下载最新手册(pdf).看看这个也行 打开pdf,书签找到电脑本地Ope…

之前一人负责微信的项目,那时2014年LZ还没毕业..啥都不懂,为此特别感谢@SZW,没有你的框架,我可能都无从下手 当时做项目最麻烦的就是调试,因为很多页面都要使用 网页授权获取用户信息 在电脑上打不开获取了openid的页面,只好拿一台服务器,边改边发步,痛苦.... 2015年,这个问题终于解决了,多亏了公司的 玉龙大侠 ,下面讲解详细步骤 第一步: 打开本机的 IIS ,右键点击网站 添加网站 第二步: 第四步: 第五步:在 vs 中工具栏 点击调试 附加到进程 第六步: 第七步: 拿出…

用MVC EF框架开发项目,数据库用的是Oracle,本地调试的时候一切正常,但是把代码编译之后放到服务器就会读不出数据. 原因:本地调试环境与服务器环境不一致. 办法:在服务器上装ODT.NET组件就OK了.…

测试微信,因为要与微信服务器进行交互,所以必须要是外网地址,实现本地调试首先需要解决的问题就是外网问题,这个我前面的文章有介绍,这里就不再详细介绍了,网址http://www.cnblogs.com/zhangjd/p/5657300.html 一.需要将项目发布到本地的IIS上,物理路径要填写本地项目的路径,不是发布后生成的发布文件路径…

WebService访问oracle数据库本地调试-一步一个坑 上篇文章提到我们额数据库挂了,重装了数据库,然后呢我需要在本地调试WebService,看看那些数据结构缺失,迁移到新数据库中去.踩坑之路正式开始,当然这不是WebService这个项目埋下的坑,应该是每个使用oracle开发WebService要踩的坑,我踩过了,希望你看到后可以轻松过去. 我的连接字符串是这样的 <add name="oracle" connectionString="Data Sour…

项目本地测试然后发布到服务器上,各种BUG层出不穷.那么下面配置下,然后在本地调试部署在服务器上的程序吧 一.首先idea打开你的项目,服务器上传打包的程序.然后如下命令启动(linux),绿色参数为实际参数,address可以为7777或7787 nohup /data/soft/jdk1.8.0_191/bin/java -Dconfig.zookeeper.connectString= -jar /data/app/shopbusiness.jar > /data/app/logs/sho…

1.如果要是发布到iis,还加载不出来,那就要配置一下MIME类型: 2.本地调试时,无法加载json文件: 解决方案: 在web.config中添加如下配置:mimeMap <system.webServer> <defaultDocument> <files> <clear /> <add value="default.aspx" /> </files> </defaultDocument> <…

[视频]使用fiddler开发工具进行新架构页面本地调试,视频没录制好,有些部分比较模糊...…

原理: 本地逻辑,重新渲染 步骤: 1.安装插件:Tampermonkey 度盘:https://pan.baidu.com/s/1bpBVVT9 2.设置: 点击插件-->仪表盘 添加脚本 将此文本文档中的脚本复制到脚本编辑框处,并Ctrl+S保存 // ==UserScript== // @name 新架构准现网本地调试插件 // @namespace http://www.wuhairui.cn/ // @version v1.1 // @description 使用服务器的数据,使用本地…

解决什么问题: 解决前端在本地联调页面 || 样式 || 脚本时经常修改服务器代码,浪费太多时间. 避免多人同时修改代码产生冲突问题.可以在本地调完代码之后,再贴到服务器上. 其实这个问题老早就开始想过一些办法了.但是之前都是要在服务器中引入本地文件进行调试.有很多缺点.只适合部分场景. 现在这种方案受老吉上次分享会上的启发.稍微做了一些修改写的.可以说基本的前端问题都可以用这种方法来快速联调解决. 利用Fiddler抓包工具进行本地调试方案: 所需工具(一次安装及配置): Fiddler:百度…

本地调试微信的新手指引~ 照着配置,一定可以配置成功,实现本地调试微信,公司好几个同事按照我写的步骤,都独立配成功了. 1.首选在natapp注册一个账号,申请免费隧道或者购买隧道,我买了一个月9元的付费隧道,这样域名就不用变来变去了(建议新手直接购买1个月的域名,免费域名隔一段时间会变,调试麻烦).买了付费隧道之后,设置自己的二级域名,微信测试需要二级域名才行,免费的三级临时域名已经不可以了.于是又花了三元买了一个一年的二级域名.共花费12元钱.端口号我设置为8080,跟我本地项目的tomca…

vs2017 调试一致都没啥问题,今天莫名报这个错误,感觉好奇怪,网上搜索了半天也没解决,最后看着错误信息感觉很诡异,我本地调试你给我启动远程调试监测器干嘛,localhost也访问不了,ping了一下localhost 提示一般故障,我在想应该这里原因,最后网上搜索了一下localhost ping不通的解决方案,让关闭防火墙,我就试了一下,把所有网络的防火墙全关了,最后成功了!!!…

最近需要做几个企业站,所以呢,考虑了一下,没有用phpcms,而选择了 织梦.毕竟么,织梦用来做企业站还是比较合适的.好了,进正题: 在本地调试的时候,会非常的卡顿.调试的方法如下: 安装目录/data/common.inc.php  将localhost 改为  127.0.0.1 . 好了,去试试吧.后台的反应要快的多的多了.…

折腾hadoop的调试很久了,一直都没折腾对,查过很多资料,但是都没试出来,最终在不断地尝试当中调试出来了,所以想把这个过程记录下来,和大家分享一下. 调试分为两部分,MapReduce的调试和源码的调试. MapReduce的调试很简单,首先要部署好hadoop,这个我就不说了,自己去百度.部署好之后,下载Hadoop对应的eclipse插件,有了这个插件之后,变得异常简单. 这是我在网上下的hadoop1.1.2的eclipse插件的地址:http://download.csdn.net/d…

前言:关于这个话题网上有很多,本文旨在引导实战纠偏,理论偏少,如果按照步骤还不能达到本文目的,请留言. 1 环境准备 1.1 软件准备 idea:官方下载社区版,下载后安装 maven:Apache-maven-3.3.9,为一个压缩包,解压到指定路径 jdk:jdk1.8.0_131,下载后安装,一般是默认安装路径 1.2 环境配置 1.2.1 maven仓库设置 apache-maven-3.3.9\conf\settings.xml 设置本地仓库和镜像url 1.2.2 环境变量设置 高级…

今天下午在本地调试的时候碰到个很奇怪的问题:服务调用接口,返回的明明是有数据的,然后通过gson转换对象后,对象里面并没有自己想要的数据.看了代码什么的都没有问题.思考到底是哪里出了问题,想了半天想到之前碰到过:在本地编译的class文件的的lib文件夹的jar包里面有两个一样的jar包,只是版本号不一样.删除过时的哪个 就好了.jar包冲突导致的. 还有个问题,是返回给app接口的时候,返回的对象 自己并没有赋值,按说给app也不应该有该对象.但是返回的对象里面一直有该属性.最后想明白了:自己…