01.HDFS简介 大纲: hadoop2 介绍 HDFS概述 HDFS读写流程 hadoop2介绍 框架的核心设计是HDFS(存储),mapReduce(分布式计算),YARN(资源管理),为海量的数据提供了存储和计算. Hadoop 1.0(MapReduce,HDFS) Hadoop2 主要改进 YARN NameNode HA HDFS federation Hadoop RPC 序列化扩展性 HDFS概述 定义 HDFS是一个分布式文件系统,具有高容错的特点.它可以部署在廉价的通用硬件…

Sed简介 sed 是一种在线编辑器,它一次处理一行内容.处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有 改变,除非你使用重定向存储输出.Sed主要用来自动编辑一个或多个文件:简化对文件的反复操作:编写转换程序等.以下介绍的是Gnu版本的Sed 3.02. 2. 定址 可以通过定址来定位你所希望编辑的行,该地址用数字构成,用…

RabbitMQ简介 ​ MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们. ​ 消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术. ​ 排队指的是应用程序通过 队列来通信.队列的使用除去了接收和发送应用程序同时执行的要求. 什么是RabbitMQ? RabbitMQ是由Erlang语言编写的实现…

Memcached简介 memcached是一个自由开源,高性能,分布式内存对象存储系统 基于内存的key-valued存储,用来存储小块的任意数据(字符串,对象) 他是一个简洁的key-value存储系统 # 分为服务器和客户端两部分 # 1. 服务端: memcached # 2. 客户端: memcache 使用目的: 通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度,提高可扩展性 Memcached特点 # 1. C/S模式架构: 由C语言编写,总共2000多行代码…

简介 Remote Dictionary Server, 翻译为远程字典服务, Redis是一个完全开源的基于Key-Value的NoSQL存储系统,他是一个使用ANSIC语言编写的,遵守BSD协议,支持网络.可基于内存的可持久化的日志型.Key-Value数据库,并提供多种语言的API. 它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型. # Redis架构主…

Mysql数据库简介 什么是数据? ​ 数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材,数据是信息的表现形式和载体,可以是符号,文字,数字,语音,图像,视频等,数据和信息是不可分离的,数据是信息的表达,信息是数据的内涵,数据本身没有任何意义,数据只有对实体行为产生影响才成为信息.在计算机系统中,数据以二进制信息单元0,1形式表示 什么是数据库? ​ 数据库(Database): 是按照数据结构来组织.存储和管理数据的仓库,给我们提供了一种以关系…

GitLab简介 最初,该产品名为GitLab,是完全免费的开源软件,按照MIT许可证分发. 2013年7月,产品被拆分为:GitLabCE(社区版)和GitLabEE(企业版),当时,GitLabCE和GitLabEE的许可仍然是根据MIT许可分发的免费和开源软件. Gitlab于2017年1月31日发布一系列紧急通告称,位于荷兰的系统管理员因操作失误而删除了包含310GB产品数据的文件夹,在取消删除操作后仅剩下4.5GB.运维人员之后检查发现,网站宣称和配备的多项备份措施均未正常运作或难以利…

JavaScript语言简介.基本使用和变量声明 JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器.面向对象.事件驱动式的网页脚本语言. JavaScript的前身叫LiveScript. JavaScript的作用 交互式操作:表单验证: 网页特效:Web游戏: 服务器脚本开发等. Java和JavaScript 知乎上有个回答说:Java和JavaScript的关系就好像雷锋和雷锋塔的关系一样.(…) 简单比较一下: 1.两种语言的执行方式不一样. Java的源代…

过滤器 什么是过滤器? 过滤器(Filter) 主要的作用大致可以理解为把我们的附加逻辑注入到MVC框架的请求处理. 在ASP.NET MVC的请求处理中一种有19个管道事件分别是 BeginRequest:HTTP管道开始处理请求时,会触发BeginRequest事件 AuthenticateRequest:安全模块对请求进行身份验证时触发该事件 PostAuthenticateRequest:安全模块对请求进行身份验证后触发该事件 AuthorizeRequest:安全模块对请求进程授权时触…

Scala简介 Scala(Scalable Language)是一门多范式(multi-paradigm)编程语言,Scala的设计吸收借鉴了许多种编程语言的思想,具备面向对象编程.函数式编程等特性. Scala具备强大的并发性,支持函数式编程,可以更好地支持分布式系统: Scala语法简洁,能提供优雅的API: Scala兼容Java,运行速度快,且能融合到Hadoop生态圈中:   Scala特性 交互式编程:提供REPL(Read-Eval-Print Loop,交互式解释器),可以即时…