pilicat-dfs

霹雳猫-分布式文件系统

一种可以将网站图片或上传的文件,进行分布式存放的服务,可自动复制到多台物理机器,可满足高可用和负载均衡

已编译好的程序包

http://git.oschina.net/tavenli/pilicat-dfs/releases

功能介绍

支持多个dfs-node

支持对上传的文件自动复制到多个dfs-node

支持 RestfulAPI 接口,方便各种语言调用

可以对dfs-node进行分组

为什么要使用pilicat-dfs

  • 可使每个应用系统上传的附件,不存放在应用系统目录下,即使上传了图片木马,也执行不了,因为dfs是纯静态

  • 可同时满足多个应用系统上传附件的需求,将多个应用上传的附件存放在统一的一组服务器,方便管理

  • 可以更好的实现CDN,加速对静态资源的访问,因为这里都是纯静态

  • 同一份文件,自动分发到多台物理节点,并支持通过 lvs 或 nginx 实现负载均衡,实现高可用和物理容灾

  • 还有很多优点,就不全部阐述了...

功能使用

  1. dfs-node当做单节点使用,非集群高可用方式
  • 启动dfs-node
cd dfs-node_linux64_v1.0.0
./start.sh

  

  • 上传文件测试
curl -X POST -F file=@/app/test.jpg http://127.0.0.1:8800/api/file

  

  • 服务返回信息
{
"Code": ,
"Msg": "success",
"Data": {
"FileUrlPath": "/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg",
"OrgFileName": "test.jpg",
"PubUrl": "http://dsf.hicode.top/file/2017/07/21/5e30cf328e44824ece5ddc52b629b73c.jpg"
}
}

dfs-node配置文件说明

node.name = "dfs-node-1"    //节点名称,在同一个center中唯一
node.public.addr = "0.0.0.0:8700" //用于对外访问端口,主要供web访问上传后的文件,如果是80端口直接对外,可直接绑到80端口上
node.api.addr = "0.0.0.0:8800" //用于内网接口,文件上传、覆盖、删除等操作,都通过该端口,通常绑定在内网IP
node.auth.type = "IpWhiteList" //内网接口的鉴权方式,目前支持 SecretAuth 和 IpWhiteList两种方式,如果不需要鉴权,该项内容留空,或不配置即可
node.auth.token = "26CCD056107481F45D1AC805A24A9E59" //当鉴权类型为 SecretAuth 时,需要配置该项
node.ip.white.list = "127.0.0.1,192.168.1.0/24" //当鉴权类型为 IpWhiteList 时,需要配置该项 dfs.center = "192.168.1.200:8000" //集群高可用服务所在位置,用于自动注册dfs-node
dfs.public.url = "http://dsf.hicode.top:8700" //用于对外访问的域名

  

pilicat-dfs 霹雳猫-分布式文件系统的更多相关文章

  1. 分布式文件系统HDFS,大数据存储实战(一)

    本文进行了以下工作: OS中建立了两个文件,文件中保存了几组单词. 把这两个文件导入了hadoop自己的文件系统. 介绍删除已导入hadoop的文件和目录的方法,以便万一发生错误时使用. 使用列表命令 ...

  2. 笔记之分布式文件系统(DFS)

    不知何故,老外都挺喜欢使用DFS,但是国内公司用这个的不多.一个具体的需求就是,备份服务器在国外,所以启用DFS把国内的数据同步一份到国外进行备份.最近有机会接触DFS,把一些心得体会记录一下. 1. ...

  3. 分布式文件系统 - FastDFS 简单了解一下

    别问我在哪里 也许我早已不是我自己,别问我在哪里,我一直在这里. 突然不知道说些什么了... 初识 FastDFS 记得那是我刚毕业后进入的第一家公司,一个技术小白进入到当时的项目组后,在开发中上传用 ...

  4. HDFS分布式文件系统资源管理器开发总结

      HDFS,全称Hadoop分布式文件系统,作为Hadoop生态技术圈底层的关键技术之一,被设计成适合运行在通用硬件上的分布式文件系统.它和现有的分布式文件系统有很多共同点,但同时,它和其他的分布式 ...

  5. Hadoop 分布式文件系统:架构和设计

    引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时,它和其他的分布式文件系统 ...

  6. [转]分布式文件系统FastDFS架构剖析

    [转]分布式文件系统FastDFS架构剖析 http://www.programmer.com.cn/4380/ 文/余庆 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实 ...

  7. 【官方文档】Hadoop分布式文件系统:架构和设计

    http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计 ...

  8. 分布式文件系统 - FastDFS

    分布式文件系统 - FastDFS 别问我在哪里 也许我早已不是我自己,别问我在哪里,我一直在这里. 突然不知道说些什么了... 初识 FastDFS 记得那是我刚毕业后进入的第一家公司,一个技术小白 ...

  9. KASS分布式文件系统(Kass File System)

    KASS分布式文件系统(Kass File System),简称KFS,是开始公司自主研发的分布式文件存储服务平台.KFS系统架构及功能服务类似Hadoop/GFS/DFS,它通过HTTP-WEB为上 ...

随机推荐

  1. vue组件通信那些事儿

    一.说说通信 通信,简言之,交流信息.交流结束后,把信息放在哪里,这是一个值得思考的问题.vue中保存状态有2种方式,组件内的data属性和组件外的vuex的state属性. 1.用state的场景 ...

  2. Adams/Car与Simulink联合仿真方法

    必须是Assembly装配体才行,并支持仿真设置.这里使用MDI_Demo_Vehicle模型,输出前缀为test1,输出选择files_only.然后OK输出. 生成的文件如下: 在Plant Ex ...

  3. 克罗内克符号kronecker_delta

    Kronecker delta 克罗内克函数 Wiki 维基百科 Kronecker delta 定义 \[\delta _{{ij}}={\begin{cases}0&{\text{if } ...

  4. MySql基础笔记(二)Mysql语句优化---索引

    Mysql语句优化--索引 一.开始优化前的准备 一)explain语句 当MySql要执行一个查询语句的时候,它首先会对语句进行语法检查,然后生成一个QEP(Query Execution Plan ...

  5. css3实现不同的loading

    样式1: <html> <head> <style type="text/css"> .loading { position: fixed; t ...

  6. ASCII到Unicode到UTF-8

    1.很久以前使用的是ASCII:只有一个字节,也就是2的8次方,可以表示256个不同状态,电脑最初起源于美国,够用了,刚开始只是使用了127位,后来后面的部分被他们用来表示一些横线字符之类的128-2 ...

  7. openstack 之~keystone之HTTP协议

    第一:为什么学习HTTP协议? 1.http协议就是通信的双方共同遵守的规则.无规矩不成方圆 2.openstack中各组件是基于restful api通信的,restful api可以单纯的理解为一 ...

  8. linux 系统下使用socket进行本地进程间通信

    转自:https://blog.csdn.net/baidu_24553027/article/details/54912724 使用套接字除了可以实现网络间不同主机间的通信外,还可以实现同一主机的不 ...

  9. SpringBoot 2.x 集成QQ邮箱、网易系邮箱、Gmail邮箱发送邮件

    在Spring中提供了非常好用的 JavaMailSender接口实现邮件发送,在SpringBoot的Starter模块中也为此提供了自动化配置. 项目源码已托管在Gitee-SpringBoot_ ...

  10. 【算法随记】Canny边缘检测算法实现和优化分析。

    以前的博文大部分都写的非常详细,有很多分析过程,不过写起来确实很累人,一般一篇好的文章要整理个三四天,但是,时间越来越紧张,后续的一些算法可能就以随记的方式,把实现过程的一些比较容易出错和有价值的细节 ...