一:向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件: package hadoopTest; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; public class HDFSApi { /** * 判断路径是否存在 */ public static boolean test(Configu…

Java中常用的设计模式代码与理解 一.单例模式 1.饿汉式 (太饿了,类加载的时候就创建实例) /** * 饿汉式单例模式 */ public class HungrySingleInstance { // 在类加载时生成一个实例 private final static HungrySingleInstance instance = new HungrySingleInstance(); //因为类默认会有一个公有的无参构造,所以用私有的将其覆盖 private HungrySingleIn…

Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据,每一个Map Reduce程序都离不开它们.Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的: TextInputFormat 作为默认的文件输入格式,用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置偏移量,是LongWritable类型的,value是每一行的内容,为Text类型. KeyValue…

0.内容 1.hadoop中的RPC框架封装思想 2.Hadoop RPC 实现方法 3.服务调用动态转发和负载均衡的实现思考 4.协议代码: package com.ares.hadoop.rpc; public interface HelloProtocol { public static final long versionID = 1L; public String helloMethod(String name); } 5.服务端代码: package com.ares.hadoop.…

MySQL中的子查询 是在MySQL中经常使用到的一个操作,不仅仅是用在DQL语句中,在DDL语句.DML语句中也都会常用到子查询. 子查询的定义: 子查询是将一个查询语句嵌套在另一个查询语句中: 在特定情况下,一个查询语句的条件需要另一个查询语句来获取,内层查询(inner query)语句的查询结果,可以为外层查询(outer query)语句提供查询条件. 特点(规范): ①子查询必须放在小括号中 ②子查询一般放在比较操作符的右边,以增强代码可读性 ③子查询(小括号里的内容)可出现在几乎所…

生成key: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys       -t   密钥类型可以用 -t 选项指定.如果没有指定则默认生成用于SSH-2的RSA密钥.    -f filename             指定密钥文件名.   来源:http://www.aboutyun.com/thread-6487-1-1.html   远程登录执行sh…

[目录] ◆PHP常用的代码 ◆HTML常用代码 [值传递 和 引用传递] [单例模式] [魔术常量] [代码调试(自定义一个简单的debug函数)] [thinkphp多表查询] [获取客户端IP地址] [PHP json_encode中文乱码解决方法] [Apache设置二级域名和虚拟主机,在httpd.conf的最后] [CURL 获取远程网页数据] [使用CURL抓取网页] [在cURL中用POST方法发送数据] [使用cURL上传文件] [上传网络图片] [PHP将XML数据转换为数组…

工作中,我们时常会遇到一些操作文件的操作,比如在线生成合同模板,上传/下载/解析Excel,doc文档转为pdf等操作.本文就已工作中遇到的在线生成合同为例,简要地介绍一种文档替换写法. 本文目的:给出源文件模板,通过程序操作后,替换模板中的指定内容,从而生成固定模板的文件. 使用场景:生成固定格式的合同信息. 原理:给一个文档模板,需要替换的内容以 $$包含,然后,在代码中给需要替换的字段赋值,生成新的文档. 工具包:poi-ooxml-3.10.jar   自己网上下载 代码: packag…

1.解压命令 tar -zxvf filename.tar.gz 其中zxvf含义分别如下 z: gzip      压缩格式 x: extract  解压 v: verbose 详细信息 2.linux上搭建solr步骤 第一步:把solr 的压缩包上传到Linux系统 第二步:解压solr. 第三步:安装Tomcat,解压缩即可. 第四步:把solr部署到Tomcat下. 第五步:解压缩war包.启动Tomcat解压. 第六步:把/root/solr-4.10.3/example/lib/e…

最近生产环境有个老项目一直内存报警,不时的还出现内存泄漏,导致需要重启服务器,已经严重影响正常服务了.获取生成dump文件后,使用MAT工具进行分析,发现是其中有个Excel文件上传功能时,经常会导致内存溢出.原因是:POI在加载Excel引发了内存泄漏,中间创建了大量的对象,占用了大量的内存.查看代码POI读取Excel的方式发现使用的是用户模式. POI提供了2中读取Excel的模式,分别是:用户模式:也就是poi下的usermodel有关包,它对用户友好,有统一的接口在ss包下,但是它是把…