1.Maven打包一个可执行jar: <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.7.0</version> <configuration> <source>1.8

今天在测试spark-sql运行在yarn上的过程中,无意间从日志中发现了一个问题: spark-sql --master yarn // :: INFO Client: Requesting a new application from cluster with NodeManagers // :: INFO Client: Verifying our application has not requested MB per container) // :: INFO Client: Will

今天测试过程中发现YARN Node变成Unhealthy了,后来定位到硬盘空间不够..... 通过查找大于100M的文件时发现有N多个spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包,大小为170多M, 每提交一个application到yarn上执行,就会上传一个assembly包,application个数一多,磁盘就本占用了N多空间.... 解决方法参见[Spark On Yarn中spark.yarn.jar属性的使用]

实现这样的效果: ## 侧滑面板(对ViewGroup的自定义)* 应用场景: 扩展主面板的功能* 功能实现: > 1. ViewDragHelper: Google2013年IO大会提出的, >  解决界面控件拖拽移动问题. (v4包下) > 2. mTouchSlop 最小敏感范围, 值越小, 越敏感 * 伴随动画: > 1. 左面板: 缩放动画, 平移动画, 透明度动画 > 2. 主面板: 缩放动画 > 3. 背景动画: 亮度变化 (颜色变化) * 状态监听\触摸

文章出处:http://blog.csdn.net/cjjky/article/details/6535426 在学习过程中如果经常阅读源码,理解程度会比较深,学习效率也会比较高,那么如何方便快捷的阅读Android源码? 如何查看Android源码[以Android2.2为例] 我们知道在Eclipse里按住Ctrl键不松手在某个类上点击鼠标左键,可以跳转到该类的文件.如果没有源码就会跳到class文件上.因此我们只需要把源码拷贝到合适位置,Eclipse就可以找到源码了.接下来我说一下步骤:

1 概述 该瞅瞅MapReduce的内部运行原理了,以前只知道个皮毛,再不搞搞,不然怎么死的都不晓得.下文会以2.4版本中的WordCount这个经典例子作为分析的切入点,一步步来看里面到底是个什么情况. 2 为什么要使用MapReduce Map/Reduce,是一种模式,适合解决并行计算的问题,比如TopN.贝叶斯分类等.注意,是并行计算,而非迭代计算,像涉及到层次聚类的问题就不太适合了. 从名字可以看出,这种模式有两个步骤,Map和Reduce.Map即数据的映射,用于把一组键值对映射成另

hadoop2.2.0.centos6.5 hadoop任务的提交常用的两种,一种是测试常用的IDE远程提交,另一种就是生产上用的客户端命令行提交 通用的任务程序提交步骤为: 1.将程序打成jar包: 2.将jar包上传到HDFS上: 3.用命令行提交HDFS上的任务程序. 跟着提交步骤从命令行提交开始 最简单的提交命令应该如: hadoop jar /home/hadoop/hadoop-2.2.0/hadoop-examples.jar wordcount inputPath outputP

1 概述 该瞅瞅MapReduce的内部执行原理了,曾经仅仅知道个皮毛,再不搞搞,不然怎么死的都不晓得.下文会以2.4版本号中的WordCount这个经典样例作为分析的切入点.一步步来看里面究竟是个什么情况. 2 为什么要使用MapReduce Map/Reduce.是一种模式,适合解决并行计算的问题,比方TopN.贝叶斯分类等. 注意.是并行计算,而非迭代计算,像涉及到层次聚类的问题就不太适合了. 从名字能够看出,这样的模式有两个步骤,Map和Reduce. Map即数据的映射,用于把一组键值

1.关于run on hadoop的问题: 在未用hadoop eclipse插件前,我以为通过hadoop eclipse 插件不但能够管理hdfs,还能够自己主动打包程序.并帮我自己主动设置Configuration对象的mapred.jar属性值.但用了之后,才发现,这个插件仅仅能管理hdfs.至于打包程序等操作,还得自己手动进行. 我用的hadoop 版本号为1.2.1,hadoop eclipse插件个人亲自编译生成,保证无不论什么问题,我一開始用的是MyEclipse后来换成Ecli

好久不写博客了,也好久不写代码了,这两天临时遇上一个事情,觉得不难,加上觉得手有些生,就动手做了一下,结果遇上了不少坑,有新坑,有老坑,痛苦无比,现在总算差不多了,赶紧记录下来,希望以后不再重复这种痛苦. 事情很简单,用nodejs模拟表单提交,上传文件到netty服务器. 1.netty的参考资料很多,目前有netty3,netty4两个版本,netty5出到alpha 2版本,不知道怎么的,就不更新了,官网也注明不支持了,所以我采用的是netty4.1.19版,目前最新的. 参考的资料大致如

启动方式 运行main方法 @SpringBootApplication public class BootApplication { public static void main(String[] args) { SpringApplication.run(BootApplication.class, args); } } 使用mvn启动 进图项目目录,使用以下命令启动,要求配置好环境变量 mvn spring-boot:run 编译成jar启动 编译生成Jar包的方式,首先使用mvn命令编

创建根工程 创建一个maven 工程,其pom文件为: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

1.一个标准 MR-Job 的执行入口: //参数 true 表示检查并打印 Job 和 Task 的运行状况 System.exit(job.waitForCompletion(true) ? 0 : 1); 2.job.waitForCompletion(true)方法的内部实现: //job.waitForCompletion()方法的内部实现 public boolean waitForCompletion(boolean verbose ) throws IOException, In

转载请标明出处: 原文首发于:https://www.fangzhipeng.com/springboot/2017/07/11/springbot22-modules/ 本文出自方志朋的博客 这篇文章主要介绍如何在springboot中如何创建含有多个module的工程,栗子中含有两个 module,一个作为libarary. 工程,另外一个是主工程,调用libary .其中libary jar有一个服务,main工程调用这个服务. 创建根工程 创建一个maven 工程,其pom文件为: <?

创建根工程 创建一个maven 工程,其pom文件为: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma

1 /*2 * 说明:3 * 本源代码的中文注释乃Auscarlin呕心沥血所作.旨在促进jQuery的传播以及向广大jQuery爱好者提供一个进阶4 *的途径,以让各位更加深入地了解jQuery,学习其中有用的技术,从而为振兴中华JS出一份绵薄之力...(说大了...)5 *6 *本文件保留了jQuery代码原来的英文注释,个别语句我在其旁列出了尝试性的翻译(并标明这是翻译).水平有限希望读者能斟酌.7 *另外,本中文注释不是简单将原文翻译(jQuery作者那少得可怜的注释根本不足以让我们读通

web中使用Quartz 1.首先在web.xml文件中加入 如下内容(根据自己情况设定) 在web.xml中添加QuartzInitializerServlet,Quartz为能够在web应用中使用,提供了一个QuartzInitializerServlet和一个QuartzInitializerListener,用于在加载web应用时,对quartz进行初始化. <servlet> <servlet-name> QuartzInitializer </servlet-na

新建了一个Maven的项目,mvn compile和mvn package后生成了jar文件,然后直接到target目录下去执行java -jar xxx.jar命令运行jar包时出现了"xxx.jar没有主清单属性"的错误提示. 修改pom.xml文件,添加如下配置项即可: <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <a

转载请注:[https://www.cnblogs.com/applerosa/p/9736729.html] 常见的属性 jar文件的用途 压缩的和未压缩的 jar工具 可执行的JAR 1.创建可执行JAR 2.启动可执行JAR 3.扩展打包 4.JAR文件中的安全性.. 5.数字签名. 6.jarsigner工具. 7.JAR索引 JAR(Java Archive File),Java 档案文件.通常jar 为压缩文件, 与 ZIP/RAR 压缩文件 一样的概念, 区别在于 jar 文件中存

因为springboot本身集成了tomcat插件,所以我们可以直接使用mvn clean package命令打成jar包或者war包,然后使java -jar xxx.jar 或者 java -jar xxx.war命令非常方便的去部署运行项目. 但是在执行命令时提示: PS F:\wkh_code\my-blog\target> java -jar myblog.war myblog.war中没有主清单属性 PS F:\wkh_code\my-blog\target> 这里引出一个问题:主