引言 FastDFS 属于分布式存储范畴,分布式文件系统 FastDFS 非常适合中小型项目,在我接手维护公司图片服务的时候开始接触到它,本篇文章目的是总结一下 FastDFS 的知识点. 用了 2 台 2 核 4G 的阿里云服务器做集群部署,具体部署步骤请参考:https://github.com/happyfish100/fastdfs/wiki 1.FastDFS 分布式文件系统概述 FastDFS 是一个轻量级的开源分布式文件系统,作者为淘宝资深架构余庆. FastDFS 主要解决了分布…

遇到的问题 对于Web程序,使用一台服务器的时候,客户端上传的文件一般也都是存储在这台服务器上.但在集群环境中就行不通了,如果每个服务器都存储自己接受到的文件,就乱套了,数据库中明明有这个附件的记录,却找不到这个文件.于是,文件需要进行统一集中管理,并向集群中的服务器提供统一的路径. 基于NFS的分布式文件存储实现 Network File System 简称NFS,用人话说叫共享文件夹,可以实现分布式存储文件.只需要在文件服务器上共享文件夹,并指定相应账号的权限,并给Web服务器设置可以访问共…

[网络爬虫入门05]分布式文件存储数据库MongoDB的基本操作与爬虫应用 广东职业技术学院  欧浩源 1.引言 网络爬虫往往需要将大量的数据存储到数据库中,常用的有MySQL.MongoDB和Redis等.对于爬取返回为JSON格式的数据,选择NoSQL非关系型数据库的MongoDB来存储会容易很多.在本文中,首先介绍MongoDB数据库的安装与启动,然后讲述该数据库的基本操作,接着用Python语句操作该数据库,最后将"豆瓣电影TOP250"爬虫搜集的数据存到到该数据库中,由浅入深…

MongoDB 简介 Mongo 并非芒果(Mango)的意思,而是源于 Humongous(巨大的:庞大的)一词. MongoDB 是一个基于分布式文件存储的 NoSQL 数据库.由 C++ 语言编写.旨在为 WEB 应用提供可扩展的高性能数据存储解决方案.关于什么是 NoSQL 可阅读<学了那么多 NoSQL 数据库 NoSQL 究竟是啥> MongoDB 是一个介于关系型数据库和非关系型数据库之间的产品,是非关系型数据库当中功能最丰富,最像关系数据库的. MongoDB 使用 BSON(…

http://blog.csdn.net/xingjiarong/article/details/50559849 一.FastDFS简介 FastDFS是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.作为一个分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题,特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载…

一.FastDFS简单介绍 FastDFS是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.作为一个分布式文件系统,它对文件进行管理.功能包括:文件存储.文件同步.文件訪问(文件上传.文件下载)等,攻克了大容量存储和负载均衡的问题,特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载体的在线服务,如相冊站点.视频站点等等具有显著的效果. 二.FastDFS架构 FastDFS由client,跟…

http://blog.csdn.net/xingjiarong/article/details/50752586 配置FastDFS时,修改配置文件是很重要的一个步骤,理解配置文件中每一项的意义更加重要,所以我参考了大神的帖子,整理了配置文件的解释.原帖如下:http://bbs.chinaunix.net/thread-1941456-1-1.html,因为原帖中的版本比较早,所以我针对现有的版本进行了修改,原帖中没有client.conf的介绍,这里我给加上了. 下文中带有注释的配置文件下…

目录 FastDFS介绍 楼主目标:前可H5撩妹,后可Linux搞运维 环境:Centos7 软件: 软件链接: 安装前所有准备,上传软件到Centos7上的/opt的目录下 安装依赖软件和类库(安装前的准备) 1  fdfs的依赖库 A 解压Libfastcommon B 进入Libfastcommon目录下 C make编译 D make install 安装 E libfastcommon.so复制文件到/usr/lib/ 2 fastdfs软件(tracker.storage) A 新建…

 准备,将所需的软件传到服务器上,服务器的列表如下: fastdfs-nginx-module_v1.15.tar.gz FastDFS_v4.06.tar.gz libevent-2.0.21-stable.tar.gz nginx-1.5.6.tar.gz openssl-1.0.1c.tar.gz pcre-8.36.tar.gz zlib-1.2.7.tar.gz 首先切换到root用户,命令是: su root 删除系统自带的低版本的libevent , 注意:这里的tracker…

配置FastDFS时.改动配置文件是非常重要的一个步骤,理解配置文件里每一项的意义更加重要,所以我參考了大神的帖子,整理了配置文件的解释.原帖例如以下:http://bbs.chinaunix.net/thread-1941456-1-1.html,由于原帖中的版本号比較早.所以我针对现有的版本号进行了改动.原帖中没有client.conf的介绍.这里我给加上了. 下文中带有凝视的配置文件下载:http://download.csdn.net/detail/xingjiarong/9445515…

http://blog.csdn.net/xingjiarong/article/details/50559761 在前面的一篇中,我们分析了FastDFS的架构,知道了FastDFS是由客户端,跟踪服务器和存储服务器三部分组成,下面我们就来看一下如何动手搭建一个FastDFS的环境出来.这是FastDFS的主页:https://code.google.com/p/fastdfs/,上边有FastDFS的简单介绍和一些常用的下载.但是本人觉得,官网上的搭建过程过于简单,并且没有对一个异常提出解决…

http://blog.csdn.net/xingjiarong/article/details/50560605 在前边我们已经配置好了FastDFS的环境,但是此时的FastDFS还不能通过http来访问,以前版本的FastDFS中都是集成了http服务器的功能,所以我看到一些比较早的博客中都是在配置的时候就考虑到了http服务器,我也按照他们的方法配置过,但是错误百出,后来发现我所使用的FastDFS_v4.06是需要单独配置apache服务器的,下面就来说一下我的配置过程. 一.环境声明…

  本来本篇是想介绍前端组件化开发用户界面,发现框架还未实现文件存储,原本计划是后续设计开发的,索性把计划提前,所以本篇将介绍基于Raft实现分布式的文件存储引擎. 一. 实现思路   既然是分布式存储,就需要解决以下几个关键问题: 如何将文件以多副本的形式存储在集群的节点上,且保证副本间的一致性?这个问题可基于Raft协议实现相应的状态机来解决: 如何将大量的文件分组,即如何划分多个Raft组?这个问题可通过在目录元数据内保存多个Raft组信息,每个组存储限制在64M(暂定)来解决: 如何存储…

一.概论 1.简介 GlusterFS (Gluster File System) 是一个开源的分布式文件系统,主要由 Z RESEARCH 公司负责开发. GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端. GlusterFS 借助 TCP/IP 或 InfiniBand RDMA 网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据. GlusterFS 基于可堆叠的用户空间…

MogileFS是一个开源的分布式文件存储系统,由LiveJournal旗下的Danga Interactive公司开发.Danga团队开发了包括 Memcached.MogileFS.Perlbal 等多个知名的开源项目.目前使用MogileFS 的公司非常多,如日本排名先前的几个互联公司及国内的yupoo(又拍).digg.豆瓣.1号店.大众点评.搜狗和安居客等,分别为所在的组织或公司管理着海量的图片. MogileFS由3个部分组成:(1) server:主要包括mogilefsd和mog…

块存储 (适合单客户端使用) 典型设备:磁盘阵列,硬盘. 使用场景: a. docker容器.虚拟机远程挂载磁盘存储分配. b. 日志存储. 文件存储 (适合多客户端有目录结构) 典型设备:FTP.NFS服务器. 使用场景: a. 日志存储. b. 多个用户有目录结构的文件存储共享. 对象存储 (适合更新变动较少的数据,没有目录结构,不能直接打开/修改文件) 典型设备:s3, swift. 使用场景: a. 图片存储. b. 视频存储. c. 文件. d. 软件安装包. e. 归档数据.…

一.用户管理 现代操作系统一般属于多用户的操作系统,也就是说,同一台机器可以为多个用户建立账户,一般这些用户都是为普通用户,这些普通用户能同时登录这台计算机,计算机对这些用户分配一定的资源. 普通用户在所分配到的资源内进行各自的操作,相互之间不受影响.但是这些普通用户的权限是有限制的,且用户太多的话,管理就不便,从而引入root用户. root用户是唯一的,且拥有系统的所有权限.root用户所在的组称为root组.“组”是具有相似权限的多个用户的集合. 1.root用户相关 Linux系统的特性…

链接命令 Ln [原文件] [目标文件] -s 表示创建软链接 硬链接特征: 拥有相同的i节点和存储block块,可以看做是同一个文件 通过i节点识别 不能跨分区 不能针对目录用 软链接特征: 不同的i节点和存储空间 权限 rwx rwx rwx 修改任意文件,另一个也会随之变化 删除文件,软链接将会失效 (类似于Windows中的一个快捷方式) 文件搜索命令 Locate 文件名 Loacate搜索的是/var/lib/mlocate 下的后台数据库 使用updatedb可以更新这个数据库 只…

一.Maven常用命令 1.1.Maven 参数 -D 传入属性参数  -P 使用pom中指定的配置  -e 显示maven运行出错的信息  -o 离线执行命令,即不去远程仓库更新包  -X 显示maven允许的debug信息  -U 强制去远程参考更新snapshot包  例如 mvn install -Dmaven.test.skip=true -Poracle  其他参数可以通过mvn help 获取 1.2.maven常用命令 1.mvn clean  说明: 清理项目生产的临时文件,一…

http://blog.csdn.net/xingjiarong/article/details/50561471 1.启动FastDFS tracker: /usr/local/bin/fdfs_trackered %FastDFS%/tracker.conf storage: /usr/local/bin/fdfs_storaged %FastDFS%/storage.conf 也可以简写为: tracker: fdfs_trackered %FastDFS%/tracker.conf st…

http://blog.csdn.net/xingjiarong/article/details/50759918 前面几篇关于FastDFS的博客中介绍了如何在一台机器上搭建一个简易的FastDFS系统,当然在实际的应用中是不可能将所有的节点都搭建在一台机器上的,昨天用一下午的时间搭建了一个三个节点的FastDFS的系统,这里记录一下搭建的过程. 一.系统结构 我这里有三台机器: 机器 系统 IP PC1 CentOS6.5 192.168.1.31 PC2 Ubuntu14.04 192.1…

http://blog.csdn.net/xingjiarong/article/details/50559768 在上一节中我们一起搭建了一个单节点的FastDFS系统,但是仅仅将系统搭建起来是远远不够的,必须要对FastDFS进行配置才能使系统正确的运行. 一.环境声明 我们还是像上一次一样首先说一下环境.我们采用VirtualBox安装了Ubuntu 14.04 TLS 64位虚拟机,采用网桥网卡,所以虚拟机会有一个和本机在同一网段的IP地址,这么做的目的是为了配置完成后在本机访问虚拟机的…

1.fastdfs安装和配置 https://blog.csdn.net/hy245120020/article/details/78658081 2.使用nginx代理fastdfs以及图片裁剪(fastdfs-nginxmodule) server { listen 8888; location / { root /home/caozhiyuan/fdfsstore/fdfs_storage/data; } location /group1/M00 { root /home/caozhiyu…

单击模式(Standalone): 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布式(Pseudo-Distributed Mode): 伪分布模式在“单节点集群”上运行Hado…

文章转载自:https://mp.weixin.qq.com/s/_52kZ5jil1Cec98P5oozoA MinIO 提供开源.高性能.兼容 s3 的对象存储,为每个公共云.每个 Kubernetes 发行版.私有云和边缘云中无缝运行,使其成为混合云和多云对象存储的领导者. 1. MinIO 的应用场景 MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务.它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备…

本文翻译自Elasticsearch官方指南的distributed document store一章. 分布式文档存储 在上一章中,我们一直在介绍索引数据和获取数据的方法.可是我们省略了非常多关于数据是怎样在集群中被分布(Distributed)和获取(Fetched)的技术细节.这实际上是有意为之 - 你真的不须要了解数据在ES中是怎样被分布的.它能工作就足够了. 在本章中.我们将会深入到这些内部技术细节中.来帮助你了解你的数据是怎样被存储在一个分布式系统中的. 路由一份文档(Documen…

参考: http://www.cnblogs.com/huangxincheng/category/355399.html http://www.cnblogs.com/daizhj/category/260889.html MongDB是一个高性能,开源,无模式的文档型NosQL数据库. 主要功能特性: 1.文件存储格式BSON(一种json的扩展) 2.模式自由 数据格式不受限了表的结构 3.支持动态查询 4.支持完全索引 5.支持复制(其主从复制)和故障恢复 6.使用高效的二进制数据存储,…

1:MongoDB的官方网址:https://www.mongodb.com   MongoDB的中文社区:http://www.mongoing.com/(老外也很看重中国市场啊,知道大家英语不好,做的中文社区)   MongoDB的中文网址:http://docs.mongoing.com/manual-zh/   MongoDB的github:https://github.com/mongodb 2:在MongoDB的github上面下载压缩包上传到VMware的linux操作系统上面:操…

1.文件打开 文件句柄 = open('文件路径', '模式') 2.文件操作 打开文件时,需要指定文件路径和以何等方式打开文件,打开后,即可获取该文件句柄,日后通过此文件句柄对该文件操作. 三种基本的文件操作模式:r(only-read).w(only-write).a(append) r ,只读模式[默认模式,文件必须存在,不存在则抛出异常] w,只写模式[不可读:不存在则创建:存在则清空内容] x, 只写模式[不可读:不存在则创建,存在则报错] a, 追加模式[可读: 不存在则创建:存在则…

转自:https://blog.csdn.net/l821133235/article/details/80103106(在服务器上排除问题的头五分钟) 遇到服务器故障,问题出现的原因很少可以一下就想到.我们基本上都会从以下步骤入手: 一.尽可能搞清楚问题的前因后果 不要一下子就扎到服务器前面,你需要先搞明白对这台服务器有多少已知的情况,还有故障的具体情况.不然你很可能就是在无的放矢. 必须搞清楚的问题有: 故障的表现是什么?无响应?报错? 故障是什么时候发现的? 故障是否可重现? 有没有出现的…