在 Kubernetes 集群中,Ingress是授权入站连接到达集群服务的规则集合,为您提供七层负载均衡能力.您可以给 Ingress 配置提供外部可访问的 URL.负载均衡.SSL.基于名称的虚拟主机等. 目前主要广泛应用的有:Nginx.Traefik.Envoy三种 一.K8S服务暴露介绍 从 kubernetes 1.2 版本开始,kubernetes提供了 Ingress 对象来实现对外暴露服务:到目前为止 kubernetes 总共有三种暴露服务的方式: LoadBlancer S…

kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行,horizontally scalable(水平可扩展),并支持 highly available(高可用)性操作.此外,Kudu 还有更多优化的特点: OLAP 工作的快速处理. 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成. 与 Apa…

MySQL用了很多年了,今天写个总结. 一.介绍 MySQL是开源软件,后来归Oracle所有.开源便于软件的完善改进.但开源不等于滥用,也不等于完全免费.MySQL有商业版,商业用途是付费的.也有免费版(社区版),方便软件开发用.一般程序员下载社区免费版. 二.下载 去官网下载安装包.下载安装版 社区版的下载项有很多,有MySQL服务端MySQL Community Server(下载这个),有shell工具,还有Linux上用的yum安装包和suse的安装包.我看到有一个MySQL on W…

一.概述 1.1git概念 Git是一个开源的分布式版本控制系统,用于敏捷高效处理任意规模的项目,其作者为Linux创造者Linus Torvalds为管理Linux内核而开放的一个开源的版本控制柔软剂与其他版本控制工具例如:CVS,Subversion 等不同,它可采用分布式版本,不必依赖于服务器端软件支持. 1.2Git与SVN区别 Git不仅仅是版本控制系统,也是一个内容管理系统相比与SVN的区别如下:1.GIT为分布式,SVN则不是:2.GIT按照元数据形式存储内容,讲所有资源孔子系统都…

Kafka介绍 Kafka是分布式的发布—订阅消息系统.它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目.Kafka是一个高吞吐量的.持久性的.分布式发布订阅消息系统. 三大特点: 高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费. 持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储. 分布式 基于分布式的扩展和容错机制:Kafka的数据都会复制到几台服务器上.当某一台故障失效时,生产…

一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代.除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许多互联网公司能够从IOE(IBM小型机.Oracle数据库以及EMC存储)中…

写在前面一: 本文总结"Hadoop生态系统"中的当中一员--Apache Flume 写在前面二: 所用软件说明: 一.什么是Apache Flume 官网:Flume is a distributed, reliable, and availableservicefor efficientlycollecting, aggregating, and moving large amounts of log data. It has a simple and flexible arch…

Django介绍     Django 是由 Python 开发的一个免费的开源网站框架,可以用于快速搭建高性能,优雅的网站     DjangoMTV的思想         没有controller,把view当成mvc的controller     Django安装 可以配合参考:http://blog.csdn.net/jerome_s/article/details/46340079 ( Python介绍.环境搭建.第一个程序) 1. 先安装好Ptyhon 2. 安装Django    …

Zookeeper启动时默认将Zookeeper.out输出到当前目录,不友好.改变位置有两种方法: 1:在当前用户下~/.bash_profile或在/etc/profile,添加ZOO_LOG_DIR变量.    export ZOO_LOG_DIR=/home/Hadoop/local/logs/zookeeper 2:修改zkServer.sh 脚本  1)修改zoo.cfg文件,增加dataLogDir参数 如: dataDir=/data/zookeeper/data dataLog…

1.Hive介绍 数据库OLTP 在线事务处理 数据仓库OLAP 在线分析处理 延迟高 类sql方式(HQL) 使用sql方式,用来读写,管理位于分布式存储系统上的大型数据集的数据仓库技术 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分…

一.什么是多路径 普通的电脑主机都是一个硬盘挂接到一个总线上,这里是一对一的关系.而到了有光纤组成的SAN环境,或者由iSCSI组成的IPSAN环境,由于主机和存储通过了光纤交换机或者多块网卡及IP来连接,这样的话,就构成了多对多的关系.也就是说,主机到存储可以有多条路径可以选择.主机到存储之间的IO由多条路径可以选择.每个主机到所对应的存储可以经过几条不同的路径,如果是同时使用的话,I/O流量如何分配?其中一条路径坏掉了,如何处理?还有在操作系统的角度来看,每条路径,操作系统会认为是一个实际存…

[1] Tomcat服务器的介绍 1.是一个免费的.开饭源代码的Servlet服务器,目前非常流行. 2.Tomcat服务器是Apache软件基金会的一个顶级项目,由Apache.Sun等公司共同开发完成. 3.由于有Sun公司的参与和支持,所以最新的Servlet和JSP规范总能在Tomcat中得到体现. 4.可以到官网下载Tomcat安装包:https://tomcat.apache.org  在官网的左侧一列有Download栏目,点击其中某一个版本即可下载. [2] Tomcat服务器的…

介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware(商品硬件)上运行,horizontally scalable(水平可扩展),并支持 highly available(高可用)性操作.此外,Kudu 还有更多优化的特点: OLAP 工作的快速处理. 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成. 与 Apache Impala(i…

Django介绍         Django 是由 Python 开发的一个免费的开源站点框架.能够用于高速搭建高性能.优雅的站点.              DjangoMTV 的思想项目架构图         没有controller,把 view 当成 mvc 的controller.         MVC:Controller -> Model -> View         MTV:View -> Model -> Template         没有control…

什么是zabbix zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案. zabbix能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题. zabbix由2部分构成,zabbix server与可选组件zabbix agent. zabbix server可以通过SNMP,zabbix agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可以运…

也许大家一看到Memcache和Memcached会有点晕,这两者有什么关系又有什么区别呢,下面先给大家说下Memcached,Memcached是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度. 想必大家也听说过Memcached,就是一个缓存系统,我们可以把一些经常要查询的数据放到缓存中,避免每次要使用的时候都去查询数据库.这样既能大幅的加快数据读取速度,而且也降低了服务器的压力,…

redis--NoSQL的一种 为了解决高并发.高可用.高扩展.大数据存储等一系列问题而产生的数据库解决方案,就是NoSQL NoSQL,非关系型数据库,全名:Not Only Sql,它不能代替关系型数据库,只能作为关系型数据库的一个良好补充. redis 简介 是使用c语言开发的一个高性能键值数据库,redis可以通过一些键值类型来存储数据. redis 数据类型 String:字符串类型 map:散列类型 list:列表类型 set:集合类型 sortedset:有序集合类型 redis的…

1.hive概述 Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集.可以将结构投影到已存储的数据中.提供了命令行工具和JDBC驱动以将用户连接到Hive. 2.hive优缺点 优点: (1)操作接口采用了sql,简化开发,减少学习成本. (2)避免手写mapreduce程序 (3)hive执行延迟较高,使用场景大多用在实时性要求不强的情景 (4)优点在于处理大数据 (5)支持自定义函数 缺点: (1)hive的sql表达能力有限(HSQL) (2)…

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore…

原文地址:http://developer.51cto.com/art/201005/199628.htm 本文介绍Subversion安装配置快速指南,首先讲Subversion的安装和配置,Unix/Linux下一般已安装或者使用软件包管理机制安装,非常方便,而配置过程基本是一样的,在这里我 们只讲Windows平台下的安装. 一.首先下载所需的软件: Subversion: http://subversion.tigris.org/Windows下的客户端TortoiseSVN: http…

robot framework 是一款专门用作自动化测试的框架,提供了丰富的内置库,与第三方库,也支持用户自己编写的库,robot framework +library 可以 用来做ui的自动化测试,接口自动化测试,以及app的自动化测试等等.下面介绍一下robot framwork的安装与配置. 1. 由于robot framework是用python写的 所以首先需要安装python环境,python下载地址:https://www.python.org/downloads/, python…

hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法.会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase.只要10分钟就可以完成以下的操作. 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase…

问题导读:1.配置的是谁的目录conf/hbase-site.xml,如何配置hbase.rootdir2.如何启动hbase?3.如何进入hbase shell?4.ssh如何达到互通?5.不安装NTP会发生什么情况?6.conf/hbase-env.sh文件的作用是什么?7.hbase.cluster.distributed的作用是什么?8.hbase.zookeeper.property.clientPort的作用是什么?9.hbase.zookeeper.property.dataDir…

引言 前端经过漫长的发展,涌现出了很多实践方法来处理复杂的工作流程,让开发变得更加简便,其中,模块化可以使复杂的程序细化成为各个小的文件,而webpack并不强制你使用某种模块化方案,而是通过兼容所有模块化方案让你无痛接入项目,本文详细介绍webpack安装配置及打包的详细过程. Webpack简单介绍 本质上,webpack 是一个现代 JavaScript 应用程序的静态模块打包器(module bundler).当 webpack 处理应用程序时,它会递归地构建一个依赖关系图(depend…

### RabbitMQ从入门到集群架构: https://zhuanlan.zhihu.com/p/375157411 可靠性高 ### Kafka从入门到精通: https://zhuanlan.zhihu.com/p/375578641 吞吐量 今日内容概要 Elasticsearch介绍 Elasticsearch安装配置 内容详细 1.Elasticsearch介绍 # Elasticsearch产生背景 -大规模数据的检索 -redis集群--->很多数据--->分片保存到不同节点…

DietPi在Raspberrypi.org上的原帖:http://dwz.cn/HSrmY 版本发布很频繁,给原作者们点个赞.功能会越来越多,而且作者的定制观点很明确,适合树莓派的使用. 之前关于DietPi的介绍发到贴吧,版大还给加了精,这里把安装配置简要介绍一下: 注意:本人没有HDMI显示器,无法测试相关功能,但是X server可以正常打开显示桌面,HDMI功能具体在dietpi-config里面 可以设置.本文环境DietPi V36 1.默认登陆账户密码root raspberry…

Node.js 安装配置 本章节我们将向大家介绍在window和Linux上安装Node.js的方法. 本安装教程以Node.js v6.10.1 LTS(长期支持版本)版本为例. Node.js安装包及源码下载地址为:https://nodejs.org/en/download/. 你可以根据不同平台系统选择你需要的Node.js安装包. Node.js 历史版本下载地址:https://nodejs.org/dist/ 注意:Linux上安装Node.js需要安装Python 2.6 或 2…

https://www.cnblogs.com/leeSmall/p/9563547.html 一.Zookeeper介绍 1. 介绍Zookeeper之前先来介绍一下分布式 1.1 分布式主要是下面两个方面: 1) 任务拆分 任务拆分指的是把传统的单节点服务拆分成多个节点服务部署到不同的机器上对外提供服务.比如一个传统服务有订单+支付+物流等3个模块,拆分成订单系统.支付系统.物流系统3个服务.2) 节点分工 如上面的服务拆分后,订单系统.支付系统.物流系统各司其职说明: 分布式解决高可用,高…

一.cacti的介绍 Cacti 在英文中的意思是仙人掌的意思,Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具.它通过snmpget来获取数据,使用 RRDtool绘画图形,而且你完全可以不需要了解RRDtool复杂的参数.它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结 构.host以及任何一张图,还可以与LDAP结合进行用户验证,同时也能自己增加模板,功能非常强大完善. cacti工作流程图: 具体详见cacti官网:htt…

NFS 介绍 • NFS是Network File System的缩写 • NFS最早由Sun公司开发,分2,,4三个版本,2和3由Sun起草开发,.0开始Netapp公司参与并主导开发,最新为4.1版本 • NFS数据传输基于RPC协议,RPC为Remote Procedure Call的简写. NFS应用场景是:A,B,C三台机器上需要保证被访问到的文件是一样的,A共享数据出来,B和C分别去挂载A共享的数据目录,从而B和C访问到的数据和A上的一致 NFS服务端安装配置 • yum insta…