01.HDFS简介 大纲: hadoop2 介绍 HDFS概述 HDFS读写流程 hadoop2介绍 框架的核心设计是HDFS(存储),mapReduce(分布式计算),YARN(资源管理),为海量的数据提供了存储和计算. Hadoop 1.0(MapReduce,HDFS) Hadoop2 主要改进 YARN NameNode HA HDFS federation Hadoop RPC 序列化扩展性 HDFS概述 定义 HDFS是一个分布式文件系统,具有高容错的特点.它可以部署在廉价的通用硬件…

简介 Remote Dictionary Server, 翻译为远程字典服务, Redis是一个完全开源的基于Key-Value的NoSQL存储系统,他是一个使用ANSIC语言编写的,遵守BSD协议,支持网络.可基于内存的可持久化的日志型.Key-Value数据库,并提供多种语言的API. 它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型. # Redis架构主…

JavaScript语言简介.基本使用和变量声明 JavaScript是网景(Netscape)公司开发的一种基于客户端浏览器.面向对象.事件驱动式的网页脚本语言. JavaScript的前身叫LiveScript. JavaScript的作用 交互式操作:表单验证: 网页特效:Web游戏: 服务器脚本开发等. Java和JavaScript 知乎上有个回答说:Java和JavaScript的关系就好像雷锋和雷锋塔的关系一样.(…) 简单比较一下: 1.两种语言的执行方式不一样. Java的源代…

过滤器 什么是过滤器? 过滤器(Filter) 主要的作用大致可以理解为把我们的附加逻辑注入到MVC框架的请求处理. 在ASP.NET MVC的请求处理中一种有19个管道事件分别是 BeginRequest:HTTP管道开始处理请求时,会触发BeginRequest事件 AuthenticateRequest:安全模块对请求进行身份验证时触发该事件 PostAuthenticateRequest:安全模块对请求进行身份验证后触发该事件 AuthorizeRequest:安全模块对请求进程授权时触…

Scala简介 Scala(Scalable Language)是一门多范式(multi-paradigm)编程语言,Scala的设计吸收借鉴了许多种编程语言的思想,具备面向对象编程.函数式编程等特性. Scala具备强大的并发性,支持函数式编程,可以更好地支持分布式系统: Scala语法简洁,能提供优雅的API: Scala兼容Java,运行速度快,且能融合到Hadoop生态圈中:   Scala特性 交互式编程:提供REPL(Read-Eval-Print Loop,交互式解释器),可以即时…

1.Linux简介 UNIX与Linux发展史 Unix在1969年,美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统. Linux出现于1991年,是由芬兰赫尔辛基大学学生李纳斯·托瓦兹(Linus Torvalds)和后来加入的众多爱好者共同开发完成 . Linux介绍 Linux是一种自由和开放源码的操作系统,存在着许多不同的Linux发行版本,但它们都使用了Linux内核. Linux内核网站:www.kernel.org 基于内核,再增加一些桌面,应用程序,就可以…

MongoDB 简介 1. 易于使用:没有固定的模式,根据需要添加和删除字段更加容易 2. 易于扩展:MongoDB的设计采用横向扩展.面向文档的数据模型使它能很容易的再多台服务器之间进行分割.自动处理跨越集群的数据和负载,自动重新分配文档. 以及将用户请求路由到正确的机器上. 3. 丰富的功能:索引,聚合,特殊的集合类型(过期,固定大小的集合),文件存储. 4. 卓越的性能 MongoDB基础知识 1. 文档:文档就是键值对的一个有序集.  1). MongoDB不但区分类型,而且区分大小写.…

转自:https://blog.csdn.net/w1014074794/article/details/51086228 Ehcache简介 目录 1       CacheManager 1.1      构造方法构建 1.2      静态方法构建 2       Cache 2.1      Cache的创建 Ehcache是用来管理缓存的一个工具,其缓存的数据可以是存放在内存里面的,也可以是存放在硬盘上的.其核心是CacheManager,一切Ehcache的应用都是从CacheMan…

一.Struts简介 * 是轻量级的MVC框架,主要解决了请求分发的问题,重心在控制层和表现层.运用ASOP的思想,使用拦截器来扩展业务控制器 二.使用步骤: 1.引入Sturts2的相关JAR包 2.配置前端控制器 3.创建struts.xml 5.编写业务控制器Action 6.编写JSP页面 7.配置struts.xml…

一.Python简介 1. Python的特点: 是一门动态.解释型.强类型语言 动态:在运行期间才做数据检查(不用提前声明变量)- 静态语音(C/Java):编译时检查数据类型(编码时需要声明变量类型) 解释型:在执行程序时,才一条条解释成机器语言给计算机执行(无需编译,速度较慢)- 编译型语言(C/Java):先要将代码编译成二进制可执行文件,再执 行 强类型:类型安全,变量一旦被指定了数据类型,如果不强制转换,那么永远是这种类型(严谨,避免类型错误,速度较慢)- 弱类型 (VBScript…

写在前面的话 取这个标题的目的很简单,MySQL 在中小型企业中一般都是由运维来维护的,除非数据很重要的公司可能会聘请 DBA. 但是运维一般存在由于所需要了解的东西很多很杂,导致学习过程中很多东西只能浅尝辄止.就像 MySQL,为此专门做这样一个系列,系统的捋一捋 MySQL. 关于数据库 什么是数据? 我们在浏览一个网站的时候,如爱奇艺,可以看到首页有很多视频,图片,文字,这些都是数据. 用比较官方的话来说就是:对客观事件进行记录并可以鉴别的符号. 什么是数据库? 就是存放这些数据文件的地方…

简介 设计模式(Design pattern)是软件开发人员在软件开发过程中面临的一般问题的解决方案.这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的. 设计模式是一套被反复使用的.多数人知晓的.经过分类编目的.代码设计经验的总结.使用设计模式是为了重用代码.让代码更容易被他人理解.保证代码可靠性. 设计模式使代码编制真正工程化,设计模式是软件工程的基石,如同大厦的一块块砖石一样.项目中合理地运用设计模式可以完美地解决很多问题,每种模式在现实中都有相应的原理来与之对应,每…

jenkins参考博文:https://www.w3cschool.cn/jenkins/jenkins-173a28n4.html Jenkins中文官网:http://www.jenkins.org.cn/ jenkins pipeline语法:https://jenkins.io/zh/doc/book/pipeline/syntax/ 1.1 Jenkins简介 1.Jenkins介绍 1)Jenkins是基于Java开发的一种持续集成工具,可用于自动化各种任务,如构建,测试和部署软件.…

1 D3简介 发布于2011年,全称Data-Driven Documents,直译为“数据驱动的文档”. 简单概括为一句话:D3是一个Javascript的函数库,是用来做数据可视化的.文档指DOM,即文档对象模型(Document Object Model).D3允许用户绑定任意数据到DOM,然后根据数据来操作文档,创建可交互式的图表. 由于D3是Javascript的函数库,故它也是一个js文件,也常称为D3.js. 2 D3安装 1)安装D3: 在<script>中引入D3文件即可 官…

原文地址:http://www.work100.net/training/java-intro.html 更多教程:光束云 - 免费课程 Java简介 序号 文内章节 视频 1 概述 2 主要特性 3 发展历史 4 开发工具 请参照如上章节导航进行阅读 1.概述 Java 是由 Sun Microsystems 公司于1995年5月推出的 Java 面向对象程序设计语言和 Java 平台的总称.由 James Gosling 和同事们共同研发,并在1995年正式推出. Java 分为三个体系:…

Trie树是字符串问题中应用极为广泛的一种数据结构,可以拓展出AC自动机.后缀字典树等实用数据结构. 然而在此我们考虑0-1 Trie的应用,即在序列最大异或问题中的应用. 这里的异或是指按位异或.按位异或有很多重要的性质.比如可拆分性,每个位可以进行单独处理后线性合并得到最终结果. 同时按位异或也是可减的.比如0111 ^ 1010 = 1101, 那么 1101 ^ 1010 = 0111. 证明从略. 首先我们考虑0-1 Trie的版本,也就是 给定一个序列a[i], 每次询问一个数x与a…

Flask简介 Web应用程序作用 Web(World Wide Web)诞生最初的目的,是为了利用互联网交流工作文档. 关于Web框架 1. 什么是Web框架? 1. 已经封装好了一段代码,协助程序快速开发,相当于项目半成品 2. 开发者只需要按照框架约定要求,在指定位置写上自己的业务逻辑代码 - 例如:在某个区需要成立一家医院,有两种方式: 1. 圈地,打地基,盖楼,装修,入驻 2. 买楼,装修,入驻 2. 为什么要用Web框架? 1.web网站发展至今,特别是服务器端,涉及到的知识.内容,…

RabbitMQ简介 ​ MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法.应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们. ​ 消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术. ​ 排队指的是应用程序通过 队列来通信.队列的使用除去了接收和发送应用程序同时执行的要求. 什么是RabbitMQ? RabbitMQ是由Erlang语言编写的实现…

Memcached简介 memcached是一个自由开源,高性能,分布式内存对象存储系统 基于内存的key-valued存储,用来存储小块的任意数据(字符串,对象) 他是一个简洁的key-value存储系统 # 分为服务器和客户端两部分 # 1. 服务端: memcached # 2. 客户端: memcache 使用目的: 通过缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度,提高可扩展性 Memcached特点 # 1. C/S模式架构: 由C语言编写,总共2000多行代码…

Promethus简介 Prometheus受启发于Google的Brogmon监控系统(相似的Kubernetes是从Google的Brog系统演变而来),从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发,并且于2015年早期对外发布早期版本.2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目,同年6月正式发布1.0版本.2017年底发布了基于全新存储层的2.0版本,能更好地与容器平台.云平台配合. Prometheus作为新一代…

Tomcat简介 Tomcat背景 tomcat就是常用的的中间件之一,tomcat本身是一个容器,专门用来运行java程序,java语言开发的网页.jsp就应该运行于tomcat中.而tomcat本身的运行也依赖于jdk环境. tomcat常应用于lnmt环境 Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache.Sun 和其他一些公司及个人共同开发而成.由于有了Sun 的参与和支持,最新的Serv…

Mysql数据库简介 什么是数据? ​ 数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材,数据是信息的表现形式和载体,可以是符号,文字,数字,语音,图像,视频等,数据和信息是不可分离的,数据是信息的表达,信息是数据的内涵,数据本身没有任何意义,数据只有对实体行为产生影响才成为信息.在计算机系统中,数据以二进制信息单元0,1形式表示 什么是数据库? ​ 数据库(Database): 是按照数据结构来组织.存储和管理数据的仓库,给我们提供了一种以关系…

Nginx简介 Nginx(发音同engine x)是一个异步框架的 Web 服务器,也可以用作反向代理,负载平衡器 和 HTTP 缓存.该软件由 Igor Sysoev 创建,并于2004年首次公开发布.同名公司成立于2011年,以提供支持.Nginx 是一款免费的开源软件,根据类 BSD 许可证的条款发布.一大部分Web服务器使用 Nginx ,通常作为负载均衡器. Nginx 的特点 更快: 单次请求会得到更快的响应. 在高并发环境下,Nginx 比其他 WEB 服务器有更快的响应. 高扩…

简介 什么是MongoDB? MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统. 在高负载的情况下,添加更多的节点,可以保证服务器性能. MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成.MongoDB 文档类似于 JSON 对象.字段值可以包含其他文档,数组及文档数组. 主要特点 # MongoDB 是一个面向文档存储的数据库,操作起来比较简单和容易. # 你可…

RPC简介 本地过程调用 // 正常情况下程序的执行和调用情况.例如有如下go语言代码: package main import "fmt" func main() { var a,b int a = 1 b = 2 c := Add(a,b) fmt.Println("计算结果",c) } func Add(a int,b int) int{ return a+b } 在上述的Go语言代码中,我们定义了一个Add方法用于实现两个数相加的功能,在main方法中通过调…

etcd简介 Etcd是CoreOS团队于2013年6月发起的开源项目,他的目标是构建一个高可用的分布式键值(key-value)数据库,etcd内部采用raft协议作为一致性算法,etcd基于Go语言实现. 特点 // 简单: 安装配置简单,而且提供了HTTP API进行交互,使用也很简单. // 安全: 支持SSL证书验证 // 快速: 根据官方提供的benchmark数据,单实例支持每秒2k+读操作 // 可靠: 采用raft算法,实现分布式系统数据的可用性和一致性. Etcd vs zk…

简介 OpenResty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库.第三方模块以及大多数的依赖项.用于方便地搭建能够处理超高并发.扩展性极高的动态 Web 应用.Web 服务和动态网关. OpenResty 通过汇聚各种设计精良的 Nginx 模块(主要由 OpenResty 团队自主开发),从而将 Nginx 有效地变成一个强大的通用 Web 应用平台.这样,Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种…

简介 vue是一个JavaMVVM库,是一套用于构建用户界面的渐进式框架,是初创项目的首选前端框架.它是以数据驱动和组件化的思想构建的,采用自底向上增量开发的设计.它是轻量级的,它有很多独立的功能或库,我们会根据我们的项目来选用vue的一些功能.它提供了更加简洁.更易于理解的API,使得我们能够快速地上手并使用Vue.js. 安装vue Vue环境安装 运行vue等技术开发的客户端项目,需要安装Node.js环境 Node下载 可以到nodejs的下载页面: http://nodejs.cn/d…

GitLab简介 最初,该产品名为GitLab,是完全免费的开源软件,按照MIT许可证分发. 2013年7月,产品被拆分为:GitLabCE(社区版)和GitLabEE(企业版),当时,GitLabCE和GitLabEE的许可仍然是根据MIT许可分发的免费和开源软件. Gitlab于2017年1月31日发布一系列紧急通告称,位于荷兰的系统管理员因操作失误而删除了包含310GB产品数据的文件夹,在取消删除操作后仅剩下4.5GB.运维人员之后检查发现,网站宣称和配备的多项备份措施均未正常运作或难以利…

简介 Varnish是高性能开源的反向代理服务器和HTTP缓存服务器,其功能与Squid服务器相似,都可以用来做HTTP缓存.可以安装 varnish 在任何web前端,同时配置它缓存内容.与传统的 squid 相比,varnish 具有性能更高.速度更快.管理更加方便等诸多优点.有一部分企业已经在生产环境中使用其作为旧版本的 squid的替代方案,以在相同的服务器成本下提供更好的缓存效果,Varnish 更是作为 CDN 缓存服务器的可选服务之一. Varnish 的作者Poul-Hennin…