注:hadoop的使用命令包含 hadoop fs 开头 or hdfs dfs开头 等多种形式来操作. 这里以hadoo fs的形式来介绍在这些命令 1.列出根目录下所有的目录或文件 hadoop fs -ls / 2.列出/user目录下的所有目录和文件 hadoop fs -ls /home 3.列出/user目录及其子目录下的所有文件 hadoop fs -ls -R /home 4.创建/soft目录 hadoop fs -mkdir /soft 5.创建多级目录 hadoop fs

 -cp 和 -classpath 一样,是指定类运行所依赖其他类的路径,通常是类库,jar包之类,需要全路径到jar包,window上分号“;”  java -cp .;myClass.jar packname.mainclassname   classpath中的jar文件能使用通配符,如果是多个jar文件,要一个一个地罗列出来,从某种意义上说jar文件也就是路径. 要指定各个JAR文件具体的存放路径,相同路径有多个可使用通配符 java -cp .;c:\classes\myClass.j

  一般情况下,我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api,添加以下的pom.xml依赖(这里以hadoop2.2.0版本为例): <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.2.0</versio

背景:  编写了一个MapReduce程序,发现该程序内存占用非常多,需要有一种方法来分析内存详细的占用情况. 可以使用linux上的pmap –d <PID>来看进程逻辑地址空间使用情况,但是会有很多anno区域,显然这不能够满足同学们的好奇心. 在这篇文章Eclipse远程调试HDP源代码中,提到使用JMX的方法对HDP进行远程调试.JMX(Java Management Extensions,即Java管理扩展),望文生义一下,可知这个机制是与管理相关的.在这个机制的基础上,可以对JVM

如何把写好的Java程序打包为jar文件呢?有两种方式可以选择 1.命令行的方式: 打包jar cf JAR文件名称 程序文件名称或者程序所在的文件夹举例:jar cf MyApp.jar D:JavaProjectMyApp 查看一个jar文件的内容jar tvf JAR文件名称举例:jar tvf MyApp.jar 将一个jar文件解压缩jar xf JAR文件名称举例:www.111cn.netjar xf MyApp.jar 往压缩包里面增加文件 jar xf JAR文件名称 添加的文

hadoop jar可以看做是java -jar的升级,可以和它一样带参数,程序一样的解析 不同的是hadoop jar运行的jar包他会依赖于hadoop安装目录下面的一些环境,并且你jar包里指定了依赖了别的版本的jar包,hadoop jar会优先跑到他自己的share/hadoop/*目录下面去使用类,有的情况如果出现冲突,里面版本低于使用的,可以把hadoop里面相应的jar包删除,但是有一些删除并不能解决问题

hadoop jar  x.jar  执行过程 Yarn框架执行内容 1,job.waitforcompletion() 启动 Runjar 进程  -> Resourcemanage申请一个job ->返回一个 job相关资源提交路径和jobID 2,Runjar 向指定路径提交相关资源,并将提交结果返回给ResourceManage. 3,ResourceManage将Job加入到任务队列.NodeManage通过心跳机制领取相关任务. 4,NodeManage会为任务产生一个容器Cont

命令行通过入参调用jar包 最近因为项目需要,需要实现一个功能,即定时执行服务器上的一个脚本去对数据库的数据进行业务处理,要操作的数据库有很多种,mysql.db2.oracle.sqlserver等等,但是shell目前我还不熟悉,所以就先用java去实现,打成一个jar包,通过入参即可调用不同的数据库,满足了要求.网上搜了一下,大家多使用了Apache Commons-CLI包进行命令行参数解析,但是说的都不太清楚,我在这里结合自己的实际操作进行总结,希望能够帮助到有需要的朋友. 我这里因为

hadoop jar包 在hadoop安装目录下,找到share\hadoop目录,搜索jar,全选,然后在安装目录新建_jar文件夹,将所有的jar包拷进去 idea添加jar包 在Project Structure下,Libraries下添加jar包所在目录即可 使用maven管理jar包更方便,添加依赖就行了

不尝试就永远不会知道真相. 今天搞webservice,需要将服务单独拉出来发布.打jar包的时候要打成aar包,所以用到cmd下的打jar包的命令. 当前路径打jar包,一定要先进到这个文件夹,然后对这个文件夹打jar包..我打的是aar包,你可以改成jar,后面有个[.]代表当前路径. jar cvf ws.jar .

1. 解药hadoop包 1, C:\hadoop-2.7.2\share\hadoop  提取出所有的 jar 包, 到 _lib 文件夹下 2,将有含有source 名称的jar包 剪切出来 3,再 将含有 test名称的jar包剪切出来. 4, 留下剩余的jar包, 拷贝到eclipse 中的lib文件夹. 2, 在 项目底下,新建lib文件夹, 将jar包拷贝进去. 3,全选 lib 下的jar 包: 按住shift,点击第一个,不松开shift,点击最后一个 4  全选状态下右键 bu

用java命令行直接执行程序,如果这个程序需要引用外部jar包.就不能单纯用java xx来执行 如果你的jar包和程序就在一个目录: 编译 javac -cp D:\yy\yy.jar,D\xx\xx.jar test.java 执行 java -cp D:\yy\yy.jar,D\xx\xx.jar test 但是往往我们依赖的包很多,要一个个填写估计就疯了.所有我们一般会把所有的外部依赖包都放在一个文件夹里,比如在D:\lib 编译 javac -Djava.ext.dirs=D:\lib

经常遇到需要添加第三方jar文件的情况.在命令行状态下要加载外部的jar文件非常麻烦,很不好搞,在网上折腾了很久终于搞定了,在这里做个笔记: 2.运行:java -Djava.ext.dirs=./lib Test ./lib是指存放第三方jar文件的目录.也可以写成绝对路径:/**/lib (试过了可以!)Test.java指包含main函数的类. 详细解释: -D<name>=<value>               set a system property是设置一个系统属

 目录: 一. javac编译     1. 没有额外的jar包     2. 包含额外的jar包 二. jar打jar包 三. java运行     1. java命令执行     2. jar包执行 四. 脚本完成编译执行 整个过程模拟Eclipse的Java Project项目,包括src,以及生成的.class文件在bin中,还可能有lib,包含额外的jar包. 一. javac编译 1. 没有额外的jar包 i)我们新建JavaProject,该项目结构如下: bin:必须新建一个空的

过程:java文件→class文件→exe执行文件 --------------------------------------------- 一.编译:从.java生成.class   (1)eclipse编译:       在菜单栏里选择"项目"→"构建"/"自动构建",就会在workspace的项目里的bin目录下自动生成.class文件,不需要手动一个个去编译.   (2)命令行编译: 进入src目录,直接javac com/csdn/j

项目环境:idea16+jdk1.7+maven-3.3.9 项目说明:编写简单的java类,使用maven命令生成jar包,然后执行------->"java  -classpath  jar所在路径  main类名称" 注意:使用idea16工具的maven命令生成的jar包可能不包含第三方依赖 1.编写pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> 4.0.0spark-j

Linux 运行jar包命令如下: 方式一 特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出 那如何让窗口不锁定? 方式二 java -jar shareniu.jar & &代表在后台运行. 特定:当前ssh窗口不被锁定,但是当窗口关闭时,程序中止运行. 继续改进,如何让窗口关闭时,程序仍然运行? 方式三 nohup java -jar shareniu.jar & nohup 意思是不挂断运行命令,当账户退出或终端关闭时,程序仍然运行 当用

前提说一下,我们一般是对编译后的项目进行打包,不然打包后还得自己去重新编译class文件. 假如这是你的一个项目目录: 我们要写一个简单的计算器工具类项目,然后对他进行打包, idea里面out文件夹为项目编译后的文件夹 1:命令行打包 jar cvf name.jar -C DIR\ .   (注意后面有个空格+点,DIR:项目编译后的文件所在目录),会自动帮你创建好清单文件简单如下: 2:用idea打包 找到Artifacts,点击右上角的+,如下图,然后点ok 点击创建清单文件,如下: 创

最近在工作中遇到了遇到了一个需求需要将TIPTOP中的数据导出成XML并上传到FTP主机中,但是4GL这方面的文档比较少最终决定使用Oracle调用Java的方法,在使用的过程中发现有很多的坑,大部分的博客只粗略的介绍了下导致耗费了很多时间,在这里分2个博文详细的记录一下这个功能,填一下坑,希望可以帮助到大家. 首先 每个Oracle版本对应的OJVM的版本是不一样的我的Oracle 版本是 Database 11g Release 2 对应的是jdk1.6 所以写Java代码的时候要注意版本号

一.开发一个演示项目 项目源代码开发 项目名称叫jar-package-example(其实只是一个文件夹, 用以将演示的所有文件夹和文件存放在其中, 没啥其它作用), 为了方便, 后文统一叫jar-package-example目录为项目根目录. 项目下有三个子文件夹: lib: 存放依赖包 src: 存放源码文件 target: 存放编译后的class文件以及作为打包的目标文件夹 [root@xs jar-package-example]# ls -t target src lib [roo

前言 事情的起因是因为我在使用上网程序的时候,运行程序发现端口被占用,这个当然我们知道要将占用的端口结束掉就行,但是显然我们首先要找到占用窗口的程序是什么,才方便在任务管理器中找到并结束掉它. 查找了一番,知道了关于使用cmd查询端口号占用情况的相关命令: netstat -ano // 查看全部的端口信息,以及占用程序的PID netstat -aon|findstr "1080" // 查看具体的端口号占用的程序名 但是就是在这里奇了怪了,不能我输几遍都显示命令错误,于是在再三确认