Hadoop-2.6.0上调用C的API实现相似云盘的功能
Hadoop-2.6.0上调用C的API实现类似云盘的功能(上传。下载。删除,重命名)
測试系统:CentOS6.6, hadoop-2.6.0
本次測试是调用hadoop下的C的API来訪问HDFS实现类似云盘的上传。下载,删除,重命名的功能,其他功能还请有意者自行加入,废话少说。開始进入正题。
首先我们要能在hadoop-2.6.0上的C的API訪问HDFS
详情能够訪问:http://blog.csdn.net/u013930856/article/details/47660937
以下開始我们的云盘功能:
首先我们在主函数中连接到我们的hadoopserver,并创建一个用户自己的目录
int main(int argc, char **argv)
{
char CreatDirName[30];
/*创建目录和路径*/
char DirNamePath[50];
int Create;
hdfsFS fs = hdfsConnect("10.25.100.130", 9000); //连接到hadoopserver
printf("请输入你想创建的目录和路径:\n");
scanf("%s", CreatDirName);
Create = hdfsCreateDirectory(fs, CreatDirName);
printf("Create = %d\n", Create);
if(Create == -1)
{
printf("创建失败!\n");
exit(1);
}
while(1)
{
int num;
HdfsChoseMenu_Function();
scanf("%d", &num);
switch(num)
{
case 1:HdfsSendFile_Function(fs, CreatDirName); //Hdfs上传文件Function
break;
case 2:HdfsDownFile_Function(fs, CreatDirName); //下载文件Function
break;
case 3:HdfsDelete_Function(fs);
//HdfsDelete_Function
break;
case 4:HdfsRename_Function(fs);
//HdfsRename_Function
break;
case 0:HdfsQuit_Function(fs);
break;
default:printf("PLease input Error!!!\n");
}
}
}
上传文件到server:
void HdfsSendFile_Function(hdfsFS fs, char CreatDirName[]) //Hdfs上传文件Function
{
char SendFileName[30];
//FileName
char SendFilePath[50];
//FilePath
char buffer[LENGTH];
//BufferFile
printf("请输入要上传的文件名称: ");
scanf("%s", SendFileName);
sprintf(SendFilePath, "%s/%s", CreatDirName, SendFileName);
hdfsFile OpenFileName = hdfsOpenFile(fs, SendFilePath, O_WRONLY|O_CREAT, 0, 0, 0);
FILE *fp = fopen(SendFileName, "r");
if(NULL == fp)
{
printf("File:%s Not Found\n", SendFileName);
}
else
{
bzero(buffer, LENGTH);
tSize length = 0;
while((length = fread(buffer, sizeof(char), LENGTH, fp)) > 0)
{
printf("length = %d\n", length);
tSize num_written_bytes = hdfsWrite(fs, OpenFileName, buffer, length);
printf("num_written_bytes = %d\n", num_written_bytes);
if (hdfsFlush(fs, OpenFileName))
{
fprintf(stderr, "Failed to 'flush' %s\n", SendFilePath);
exit(-1);
}
bzero(buffer, LENGTH);
}
fclose(fp);
hdfsCloseFile(fs, OpenFileName);
printf("\n>>>上传文件成功!!!\n\n");
}
}
下载文件:
void HdfsDownFile_Function(hdfsFS fs, char CreatDirName[]) //下载文件Function
{
char DownFileName[30];
//DownFileName
char DownFilePath[50];
//DownFilePath
char buffer[LENGTH];
//BufferFile
printf("请输入要下载的文件名称: ");
scanf("%s", DownFileName);
sprintf(DownFilePath, "%s/%s", CreatDirName, DownFileName);
hdfsFile DownOpenFile = hdfsOpenFile(fs, DownFilePath, O_RDONLY, 0, 0, 0);
if(NULL == DownOpenFile)
{
printf("打开文件失败!\n");
exit(1);
}
else
{
FILE *fp = fopen(DownFileName, "w");
if(NULL == fp)
{
printf("File:\t%s Can Not Open To Write\n", DownFileName);
exit(1);
}
else
{
tSize D_length = 0;
while((D_length = hdfsRead(fs, DownOpenFile, buffer, LENGTH)) > 0)
{
printf("D_length = %d\n", D_length);
if(fwrite(buffer, sizeof(char), D_length, fp) < D_length)
{
printf("File:\t%s Write Failed\n", DownFileName);
break;
}
bzero(buffer, LENGTH);
}//sleep(1);
fclose(fp);
hdfsCloseFile(fs, DownOpenFile);
printf("\n>>>下载文件成功!!!\n\n");
}
}
}
删除文件:
void HdfsDelete_Function(hdfsFS fs) //HdfsDelete_Function
{
int num_Delete;
char delete_HdfsFilePath[50];
printf("请输入你要删除的文件的名字和路径: ");
scanf("%s", delete_HdfsFilePath);
num_Delete = hdfsDelete(fs, delete_HdfsFilePath, 0);
printf("num_Delete = %d\n", num_Delete);
}
文件重命名:
void HdfsRename_Function(hdfsFS fs) //HdfsRename_Function
{
int num_Rename;
char HdfsFilePath[30] = {0};
char oldHdfsFileName[30] = {0};
char newHdfsFileName[30] = {0};
char oldHdfsFilePath[50] = {0};
char newHdfsFilePath[50] = {0};
printf("请输入要更改的文件路径和文件名称: "); //中间用空格隔开 example:/xiaodai 1.jpg
scanf("%s%s", HdfsFilePath, oldHdfsFileName);
printf("请输入更改后的文件名称: ");
scanf("%s", newHdfsFileName);
sprintf(oldHdfsFilePath, "%s/%s", HdfsFilePath, oldHdfsFileName);
sprintf(newHdfsFilePath, "%s/%s", HdfsFilePath, newHdfsFileName);
num_Rename = hdfsRename(fs, oldHdfsFilePath, newHdfsFilePath);
printf("num_Rename = %d\n", num_Rename);
}
这仅仅是简单的实现其功能。假设想继续加入其很多其它更能,还请开发人员继续努力
这仅仅是实现其功能的函数核心代码,其完整代码和操作文档详见:
http://download.csdn.net/detail/u013930856/9012061
Hadoop-2.6.0上调用C的API实现相似云盘的功能的更多相关文章
- Hadoop-2.6.0上的C的API訪问HDFS
在通过Hadoop-2.6.0的C的API訪问HDFS的时候,编译和执行出现了不少问题,花费了几天的时间,上网查了好多的资料,最终还是把问题给攻克了 參考文献:http://m.blog.csdn.n ...
- 程序员的长安十二时辰:Java实现从Google oauth2.0认证调用谷歌内部api
最近公司在做一个app购买的功能,主要思路就是客户在app上购买套餐以后,Google自动推送消息到Java后端,然后Java后端通过订单的token获取订单信息,保存到数据库. Java后端要获取订 ...
- hadoop 2.6.0上安装sqoop-1.99.6-bin-hadoop200
第一步:下载sqoop-1.99.6-bin-hadoop200.tar.gz 地址:http://www.eu.apache.org/dist/sqoop/1.99.6/ 第二步:将下载好的sqo ...
- [ActionScript 3.0] AS3调用百度地图API
package { import baidu.map.basetype.LngLat; import baidu.map.basetype.Size; import baidu.map.config. ...
- hadoop 2.2.0 关于map和reduce的个数的设置
关于hadoop中的map过程,我的理解是每一个map系统会开启一个JVM进程来处理,map之间相互并行,map函数内串行.这样的想法是否正确? 由于想在hadoop集群上算一个初始输入数据不多,但是 ...
- mac OS X Yosemite 上编译hadoop 2.6.0/2.7.0及TEZ 0.5.2/0.7.0 注意事项
1.jdk 1.7问题 hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧 htt ...
- 64位CentOS上编译 Hadoop 2.2.0
下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后.总是出现这样的警告: WARN util.NativeCodeLoader: Unable to load n ...
- CentOS 64位上编译 Hadoop 2.6.0
Hadoop不提供64位编译好的版本号,仅仅能用源代码自行编译64位版本号. 学习一项技术从安装開始.学习hadoop要从编译開始. 1.操作系统编译环境 yum install cmake lzo- ...
- Hadoop 3.1.0 在 Ubuntu 16.04 上的安装过程
安装过程主要参考官方文档: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster. ...
随机推荐
- [python] win7 64位 安装pygame
1.下载pygame 2.python 下载3.2.* 32位的(电脑64位没关系的) 3.先安装python,再安装pygame 4.验证是否成功 打开IDLE >>>impor ...
- SpringBoot动态数据源
1.原理图 2.创建枚举类 /** * 存数据源key值 */ public enum DataSourceKey { master,salve,migration } 3.创建自定义注解类 /** ...
- Binary Tree Maximum Path Sum - LeetCode
Given a binary tree, find the maximum path sum. For this problem, a path is defined as any sequence ...
- zoj Burn the Linked Camp (查分约束)
Burn the Linked Camp Time Limit: 2 Seconds Memory Limit: 65536 KB It is well known that, in the ...
- LRC的效验码的计算方法
图一中需要检验ASCI码数据是30.31.30.30.30.30.30.30,转化为16进制累加后是0000 0001,取反加1得到1111 1111,转换为ASCI码46.46.和图中是一样的. 图 ...
- IMAP 命令
最近学习了一下IMAP命令,现在也算总结一下学习的东西,先说说IMAP命令,如果你使用的是163.126邮箱,反正是网易家的邮箱,那么这里就有很多坑要踩了,因为网易邮箱的特殊性,由于网易邮箱在中国占有 ...
- hdata datax交流总结
http://blog.csdn.net/zlm838687/article/details/74781522 hdata datax交流总结 今天和阿里云的同学就数据同步做了简要的交流,下面就交流的 ...
- 2017.8.1 logstash基础语法学习
数据类型 bool:debug => true string:host => "hostname" int:port => 514 array:match =&g ...
- 如何看一个VC工程具体是什么工程?
VC6等可以创建MFC, Win32等工程,拿到一个工程,怎么判断是什么工程呢? VC6全文检索看看有没有theApp 如果有一般就是MFC的 (VS?)看看工程设置,入口点函数写的是什么,/subs ...
- Angular 学习笔记——$interpolate
<!DOCTYPE HTML> <html ng-app="myApp"> <head> <meta http-equiv="C ...