一 HDFS概念 1.1 概念 HDFS,它是一个文件系统,全称:Hadoop Distributed File System,用于存储文件通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色. 1.2 组成 1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode. 2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息. 3)DataNode 负责管理用户的文件数据块,…

Hadoop基础-HDFS的API常见操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记, 方便自己以后查看.在调用API的时候,可能会需要maven依赖,添加依赖的包如下: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"…

目录 1.HDFS是什么? 2.HDFS设计基础与目标 3.HDFS体系结构 3.1 NameNode(NN)3.2 DataNode(DN)3.3 SecondaryNameNode(SNN)3.4 块(Block)的概念3.5 文件安全 3.读取数据流程 4.HDFS的可靠性 4.1 冗余副本策略4.2 机架策略4.3 心跳策略4.4 安全模式4.5 校验和4.6 回收站4.7 元数据保护4.8 快照机制 5.HDFS基础架构以及工作原理 6.HDFS读操作 7.HDFS写操作 8.HDFS…

(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 .它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 而它最主要的特性就是通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失 分布式文件管理系…

2.4 Git 基础 - 撤消操作 撤消操作 任何时候,你都有可能需要撤消刚才所做的某些操作.接下来,我们会介绍一些基本的撤消操作相关的命令.请注意,有些撤销操作是不可逆的,所以请务必谨慎小心,一旦失误,就有可能丢失部分工作成果. 修改最后一次提交 有时候我们提交完了才发现漏掉了几个文件没有加,或者提交信息写错了.想要撤消刚才的提交操作,可以使用 --amend 选项重新提交: $ git commit --amend 此命令将使用当前的暂存区域快照提交.如果刚才提交完没有作任何改动,直接运行此…

C#基础之操作字符串的方法 C#中封装的对字符串操作的方法很多,下面将常见的几种方法进行总结: 首先定义一个字符串str 1.str.ToCharArray(),将字符串转换成字符数组 2.str.SubString(int1,int2);截取指定长度的字符串中的子串 3.str.IndexOf('string');索引匹配,指定字符在字符串中第一次出现的位置/str.LastIndexOf(); 4.str.ToLower();将字符转换成小写 5.str.ToUpper();将字符转换成大写…

前言:Mysql数据库,知识非常的多,要想学精学通这块知识,估计也要花费和学linux一样的精力和时间.小编也是只会些毛皮,给大家分享一下~ 一.MySQL安装 (1)安装方式: 1 .程序包yum安装,下实验一 优点:安装快,简单 缺点:定死了各个文件的地方,太死板 2 .二进制格式的程序包:展开至特定路径,并经过简单配置后即可使用(推荐),下实验二 3 .源代码:编译安装,太麻烦 (2)mysql 的程序组成: Client: mysql :CLI 交互式客户端程序 mysqldump, m…

前言:Mysql数据库,知识非常的多,要想学精学通这块知识,估计也要花费和学linux一样的精力和时间.小编也是只会些毛皮,给大家分享一下~ 一.MySQL安装 (1)安装方式: 1 .程序包yum安装,下实验一 优点:安装快,简单 缺点:定死了各个文件的地方,太死板 2 .二进制格式的程序包:展开至特定路径,并经过简单配置后即可使用(推荐),下实验二 3 .源代码:编译安装,太麻烦 (2)mysql 的程序组成: Client: mysql :CLI 交互式客户端程序 mysqldump, m…

VRP基础及操作 前言 通用路由平台VRP(Versatile Routing Platform)是华为公司数据通信产品的通用操作系统平台,它以IP业务为核心,采用组件化的体系结构,在实现丰富功能特性的同时,提供基于应用的可裁剪和可扩展的功能. 实验拓扑 实验要求 1. 路由器AR1改名R1,AR2改名R2: 2. 配置R1远程登录R2: 3. 本地CRT远程登录设备: 4. 保存配置到设备 设备连接 初始连接:console线(USB接口console线) 远程连接:Telnet 基础命令 用…

Java基础-线程操作共享数据的安全问题 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.引发线程安全问题 如果有多个线程在同时运行,而这些线程可能会同时运行这段代码.程序每次运行结果和单线程运行的结果是一样的,而且其他的变量的值也和预期的是一样的,就是线程安全的. 1>.售票案例 假设某人一次性买了20张关于周杰伦的演唱会,原计划是请全部门去看演唱会的,但是由于老板的临时任务来袭,被迫需要把这20张票放在交给三个人转卖出去,请你模拟这个买票的过程.我们可以用代码来实现一下…