iNeedle日志下载功能问题

问题：

iNeedle系统本身包含日志下载功能，主要是将web服务器中的用户访问日志按照一定条件进行筛选并下载，提供管理者分析。但是这次的测试中发现iNeedle日志下载一直会卡住，web界面显示正在生成文件，这个问题郁闷了老半天。后来在雷哥的细心指导下终于弄明白了问题的原因，并轻易的解决掉，现在日志功能可以实现下载功能。

原理：

由于日志文件一般会比较大，这时用java直接去根据条件筛选并下载日志效率比较低下，这时就在底层采用C代码对文件进行索引筛选，并生成所需要的日志文件，然后由java调用zip程序进行文件解压分发下载。整个过程看似简单，其实关键点在于C和Java程序的相互调用问题。C要对log_filter代码进行打包，生成动态库，放到linux标准库文件路径下，供java程序调用。

C代码：

C代码由两部分组成：ilog_find.c和logGenerator_linux.c。ilog_find.c文件主要是向外提供接口get_ilog_file(char * cmd_str, char *log_name, char *log_out)，三个参数分别是命令参数、原日志文件路径名称、输出日志路径名称，主要由logGenerator_linux.c文件调用，起核心作用，主要是根据用户的筛选条件，将满足条件的日志过滤出来，并输出。logGernerator_linux.c文件主要是做中转作用，这个文件中的接口Java_com_icompass_helper_LogGenerator_logFilter()主要是由java端来调用，由于类型的不同，需要作一些类型转换，输入转换，输出转换等，详细内容见代码。额外需要添加一个头文件，com_icompass_helper_LogGenerator.h，主要是针对java接口函数的声明，其实在logGernerator_linux.c文件中的函数是对java声明函数的一个实现过程。
logGernerator_linux.c内容：
#include <jdk/jni.h>
#include "com_icompass_helper_LogGenerator.h"
#include <stdio.h>
#include <string.h>

unsigned
long get_ilog_file(char
*,char
*,char*);

JNIEXPORT jint JNICALL Java_com_icompass_helper_LogGenerator_logFilter (JNIEnv *env, jobject obj, jstring cmdstr, jstring logdir, jstring logname, jstring outdir, jstring outname)
{

char
*mycmdstr =
(char*)(*env)->GetStringUTFChars(env, cmdstr,
NULL);

char
*mylogdir =
(char*)(*env)->GetStringUTFChars(env, logdir,
NULL);

char
*mylogname =
(char*)(*env)->GetStringUTFChars(env, logname,
NULL);

char
*myoutdir =
(char*)(*env)->GetStringUTFChars(env, outdir,
NULL);

char
*myoutname =
(char*)(*env)->GetStringUTFChars(env, outname,
NULL);


};

};

};
jint ret =
;
sprintf(clogname,
"%s/%s", mylogdir, mylogname);
sprintf(coutname,
"%s/%s", myoutdir, myoutname);
strcpy(ccmdstr,mycmdstr);


ret =
(jint)get_ilog_file(ccmdstr, clogname, coutname);


(*env)->ReleaseStringUTFChars(env, cmdstr, mycmdstr);

(*env)->ReleaseStringUTFChars(env, logdir, mylogdir);

(*env)->ReleaseStringUTFChars(env, logname, mylogname);

(*env)->ReleaseStringUTFChars(env, outdir, myoutdir);

(*env)->ReleaseStringUTFChars(env, outname, myoutname);

return ret;
}

com_icompass_helper_LogGenerator.h：
/* DO NOT EDIT THIS FILE - it is machine generated */
#include <jni.h>
/* Header for class com_icompass_helper_LogGenerator */

#ifndef _Included_com_icompass_helper_LogGenerator
#define _Included_com_icompass_helper_LogGenerator
#ifdef __cplusplus
extern
"C"
{
#endif
/*
* Class: com_icompass_helper_LogGenerator
* Method: logFilter
* Signature: (Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;Ljava/lang/String;)I
*/
/*
命令参数
日志目录
日志文件
目的目录
目的文件
*/
JNIEXPORT jint JNICALL Java_com_icompass_helper_LogGenerator_logFilter
(JNIEnv *, jobject, jstring, jstring, jstring, jstring, jstring);

#ifdef __cplusplus
}
#endif
#endif

C这块可以单独做测试，在ilog_find.c文件中main函数中可以简单输入些参数做测试。

生成动态库

gcc ilog_find.c logGenerator_linux.c -fPIC -shared -o liblogGenerator.so
cp liblogGenerator.so /usr/lib
拷贝到linux标准库路径下，让java来调用即可。

Bug

所有上述工作都做完之后，进行web界面操作，仍然是调用失败。后来使用单独C程序测试：成功；java独立程序测试：成功；使用web调用：失败。最后又做了些测试，针对输入日志文件路径进行了对比，也没有错误，最后竟然是输出日志路径写为/var/dz_resource/shared/tmp，但是由于/var/dz_resouce/shared目录下是没有tmp目录的，因此导致C代码端写入输出日志文件时发生隐藏错误，并没有成功写入输出日志文件。后续：在C代码中或Java代码中都应该做一下判断，如果该目录没有的话，就 应该调用linux命令进行创建目录，或者在部署ineedle环境的时候就应该提前创建该目录。
mkdir /var/dz_resource/shared/tmp -p
其实最终web端读取日志文件路径不应该写这个路径，应该是mnt目录，而不是nfs目录，这样如果真实环境下并不在一个设备上就会造成严重问题。

后续

其实后续还是应该再认真阅读一下ilog_find.c文件，检查是否有需要完善的地方。
还有应该学习学习java和C相互调用。