第一章 数据库概述.MySQL的安装和配置   1.为什么要使用数据库 最早是纸质文件来存储数据 缺点:不易保存,占用空间大 计算机出现以后,采用软件来进行保存(excel) 缺点:容易损坏 文件一旦过大,打开都困难,更别说查询了 并发量差 综上所述,采用数据库来存储数据   2.什么是数据库 数据库概念: 数据库(英文叫做Database,DB)是按照数据结构组织,存储和管理数据的仓库,其本身可看作电子化的文件柜,用户可以对文件中的数据进行增加,删除,修改,查找等操作. 注意点:所谓的数据…

第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特点1.3 Spark 的用户和用途第2章 Spark 集群安装2.1 集群角色2.2 机器准备2.3 下载 Spark 安装包2.4 配置 Spark Standalone 模式2.5 配置 Spark History Server2.6 配置 Spark HA2.7 配置 Spark Yarn 模式第3章 执行 Spark 程序3.1 执行第一个 spark 程序3.2 Spark 应用提交3.3 Spark shell3…

一.概述 根据之前的凡技术必登其官网的原则,我们当然先得找到它的官网:http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍: The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows fo…

一.数据库概述 1.什么是数据(Data) 描述事物的符号记录称为数据,描述事物的符号既可以是数字,也可以是文字.图片,图像.声音.语言等,数据由多种表现形式,它们都可以经过数字化后存入计算机. 在计算机中描述一个事物,就需要抽取这一事物的典型特征,组成一条记录,如: 1,alex,male,18,1999 单纯的一条记录并没有任何意义,如果我们按逗号分隔,依次定义各个字段的意思,相当于定义表的标题,如下表格: id name sex age birth 1 alex female 19 199…

Redis概述 Redis是一个开源,先进的key-value存储,并用于构建高性能,可扩展的应用程序的完美解决方案. Redis从它的许多竞争继承来的三个主要特点: Redis数据库完全在内存中,使用磁盘仅用于持久性. 相比许多键值数据存储,Redis拥有一套较为丰富的数据类型.String,List,set,map,sortSet Redis可以将数据复制到任意数量的从服务器. Redis 优势 异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录. 支持丰富的…

Flume NG概述: Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示: Source:用来消费(收集)数据源到Channel组件中 Channel:中转临时存储,保存所有Source组件信息 Sink:从Channel中读取,读取成功后会删除Channel中的…

1. Java开发环境搭建 1.1 java概述 众所周知Java是一门编程语言,编程语言就是用来编写软件的.那么使用Java到底能用来编写什么软件呢?你所熟知的很多软件都可以用Java来编写,例如:QQ.迅雷.淘宝.京东等等,那么Java比较擅长什么呢?也就是说我们将来从事Java开发工程师工作到底要编写什么类型的软件呢? 答案是: 互联网:电商.P2P等等: 企业级应用:ERP.CRM.BOS.OA等等. 互联网类软件大家都比较熟悉,因为大家生活都可以接触得到.而企业级应用都是为大型企业量身…

部分内容参考链接: Docker实战总结(非常全面,建议收藏) 一. Docker概述 Docker是一个开源的应用容器引擎(基于Go语言开发),让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口.简言之,就是可以在Linux上镜像使用的这么一个容器. Docker可以在容器内部快速自动化部署应用,并可以通过内核虚拟化技术(namespaces及cgroups等)来提供容器的资源隔离与安…

开发工具概述 IDEA是一个专门针对Java的集成开发工具(IDE),由Java语言编写.所以,需要有JRE运行环境并配置好环境变量. 它可以极大地提升我们的开发效率.可以自动编译,检查错误.在公司中,使用的就是IDEA进行开发   IDEA软件安装. 此软件集成了32位和64位,双击 ideaIU-2017.3.2.exe 进入安装   1.欢迎界面 2.选择安装路径 3.配置安装选项 4. 开始菜单 5. 安装完毕 IDEA开发工具安装完成 …

云计算(cloud computing)是基于互联网的相关服务的增加.使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源 云计算到底是什么? 按定义:云计算指的是一种使用模式,是基于互联网的,是弹性计算,按需付费,快速扩展 按分类:公有云,私有云,和混合云,按需选择 安分层;iaas基础设施即服务 paas平台即服务 saas软件即服务 其中包括:网络,存储,服务器,虚拟化,操作系统,中间件,运行环境,数据,应用 kvm:内核级的虚拟化技术(硬件虚拟化技术) 到底有哪些虚拟化…