初识 网络文件系统Netwrok File System,类似于wiin10的网络共享 功能:通过网络让不同主机系统之间可以共享文件或目录 客户端通过挂载的方式将服务器端共享的目录挂载到本地系统. 集群中,用来存储共享视频,图片文件等静态资源文件 NFS传输数据使用端口是随机的,功能太多,所用的端口不一定,客户端咋知道端口?RPC(Remote Procedure Call)协议/服务来 NFS服务的主要任务是共享文件系统数据,文件系统数据的共享离不开权限问题 工作流程图 配置权限设置参数关系表…

序 可能大部分读者都在想,为什么在这以 dubbo.spring cloud 为代表的微服务时代,我要还要整理这种已经"过时"高可用集群架构? 本人工作上大部分团队都是7-15人编制的开发团队,对应的公司项目也大都是中小型项目,最大的项目 PV/UV 也就只有 10w/2w .在这样的场景下,中小型公司一般都是创业起步没多久,大部分都需要本着"开源节流"."以最小的成本把产出最大化".微服务架构相比于高可用集群架构,个人理解,对于技术团队的成员编…

NFS,全名叫Network File System,中文叫网络文件系统,是Linux.UNIX系统的分布式文件系统的一个组成部分,可实现在不同网络上共享远程文件系统. NFS由Sun公司开发,目前已经成为文件服务的一种标准之一(RFC1904,RFC1813). 其最大的功能就是可以通过网络,让不同操作系统的计算机可以共享数据,所以可以把NFS看做是一个文件服务器.NFS缺点是其读写性能比本地硬盘要差一些. 一.NFS服务常见故障排查: NFS服务出现了故障,主要从以下几个方面检查原因: (1…

初识 开源,多功能,全量和增量的本地或远程数据同步备份的优秀工具,remote synchronization 俩服务器定/实时备份cron+rsync,数据同步,全网备份 一个rsync相当于scp.cp.rm,但又优于他们 yum install -y rsync 支持断点续传,限速等特定功能优缺点 优点:增量备份,支持ssh,支持daemon ,集中备份 缺点:大文件对比时间比较长,大文件有时候可能传输不完整 一次性拷贝可以直接使用SCP工作模式 1.本地模式:cp,rm 2.通道模式:s…

1. NFS介绍 1.1 什么是NFS? NFS是Network File System的缩写,中文意思是网络文件系统. 它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录. NFS客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下). 从客户端本地看,NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样,而实际上却是远端的NFS服务器的目录. NFS网络文件系…

1. NFS客户端挂载深入 1.1 NFS客户端挂载参数说明 在NFS服务端,可以通过cat /var/lib/nfs/etab查看NFS服务器端配置参数的细节. 在NFS客户端,可以通过cat /proc/mounts 查看mount的挂载参数细节. 1.1.1 mount挂载及fstab文件说明 通过查看/proc/mounts文件查看挂载参数: [root@web01-8 mnt]# grep "192.168.0.31" /proc/mounts 192.168.0.31:/d…

zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm.hadoop.kafkaka.hbaser都是基于zookeeper开发的) 原理:Zookeeper虽然在配置文件中并没有指定master和slave但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的. 一.zookeeper是什么(马士兵的说法,言简意赅!) 1.一致:所有用户通过客户端访问的数据全部一致 2…

zookeeper是本身是一种分布式协调服务(英文意思动物园园长因为Hadoop就是一个动物园,storm.hadoop.kafkaka.hbaser都是基于zookeeper开发的) 原理:Zookeeper虽然在配置文件中并没有指定master和slave但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的. 一.zookeeper是什么(马士兵的说法,言简意赅!) 1.一致:所有用户通过客户端访问的数据全部一致 2…

1. 集群架构 1.1 四种内部元数据 队列元数据.交换器元数据.绑定元数据.vhost元数据. 单一节点中:会将数据存储到内存,同时将持久化元数据保存到硬盘. 集群中: 存储到磁盘上.内存中. 集群中的队列:不是每一个rabbitmq节点都有所有队列的拷贝,集群只会在单个节点上创建完整信息. 1.2 .内存节点和磁盘节点 内存节点: 元数据定义都存储在内存中.内存节点有出色的性能. 磁盘节点: 元数据定义都存储在磁盘中(单节点服务器都是磁盘节点).磁盘节点能持久化信息. rabbitmq集群中…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分布式文件系统,分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop (看不明白这5台虚拟机的请看前面 01前期准备 ) 解压配置文件 [had…