简介: Apache hive 是基于 Hadoop 的一个开源的数据仓库工具,可以将结构化的数据文件映射为一张数据库表, 并提供简单的sql查询功能,将 SQL 语句转换为 MapReduce 任务执行. Apache hive 数据库仓库工具管理着两类数据:MetaData ( 这里我们存储在远程 MySQL DataBase 中 ).Data 存储在 HDFS 之上! 一.MySQL # http://www.cnblogs.com/wangxiaoqiangs/p/5336048.htm…

简介: 官网 http://flume.apache.org 文档 https://flume.apache.org/FlumeUserGuide.html hadoop 生态系统中,flume 的职责是收集数据,一般用作收集各种日志数据. Source -> Channel -> Sink 这是一个基本的工作流程. Source 定义了数据从哪里来,Channel 是一个数据暂存的位置 ( disk / mem ),Sink 定义将数据流向哪里! 一.flume 安装 shell >…

简介: Apache Hadoop 集群安装文档 软件:jdk-8u111-linux-x64.rpm.hadoop-2.8.0.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 系统:CentOS 6.8 x64 主机列表及配置信息: master.hadoop datanode[:].hadoop CPU: MEM: 16G 8G DISK: 100G* 100…

Azkaban使用安装文档 Azkaban简介 Azkaban的是什么 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程.Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流. Azkaban 的优点 提供功能清晰,简单易用的Web UI界面 提供job配置文件快速建立任务和任务之间的依赖关系 提供模块化和可插拔的插件机制,原生支持command.Java.Hive…

笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_00024 妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0 个性签名:世界上最遥远的距离不是天涯,也不是海角.而是我站在妳的面前.妳却感觉不到我的存在 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahou…

简介: ELK Stack 安装文档,这次都使用最新版本(5.2.2).RPM 包的方式搭建 ELK Stack. 下载地址: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.rpm https://artifacts.elastic.co/downloads/logstash/logstash-5.2.2.rpm https://artifacts.elastic.co/downloads/kib…

----------------CentOS6.5下安装JDK1.7+MYSQL5.5+TOMCAT7+nginx1.7.5环境安装文档----------------------- [JDK1.7安装] 1)登录Sun的JDK官方下载网 址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2)下载jdk-7u67-linux-x64.rpm文件 >删除系统自带OpenJDK…

需要安装的组件 组件 功能 Airflow Webserver 查询元数据以监控和执行DAGs的web界面. Airflow Scheduler 它检查元数据数据库中的DAG和任务的状态,在必要时创建新任务,并将任务发送到队列. Airflow Metadata Database 它包含DAG运行和任务实例的状态. Airflow Message Broker 它将在队列中存储要运行的任务命令. Airflow Workers 它们从队列中检索命令,执行命令,并更新元数据. 服务器 结点 服务…

ORACLE LINUX 6.3 + ORACLE 11.2.0.3 RAC + VBOX安装文档 2015-10-21 12:51 525人阅读 评论(0) 收藏 举报  分类: Oracle RAC 版权声明:本文为博主原创文章,未经博主允许不得转载. VBOX + Oracle Linux 6U3 + ORACLE 11.2.0.3.0 RAC 安装 环境: 虚拟机          VIRTUAL BOX OS                ORACLE LINUX 6.3_X86_64…

这里介绍在Red Hat Enterprise Linux Server release 5.7 (Tikanga)下安装ORACLE 11.2.0.1.0的过程,本文仅仅是为了写这样安装指导文档而整理在此.仅供参考! 1:下载对应平台的ORACLE 11g安装介质 安装ORACLE,首先要获取安装介质,大部分情况手头都有相关版本的安装介质.如果你手头没有安装介质,那么可以从下面链接获取对应平台的ORACLE安装介质. http://www.oracle.com/technetwork/data…

linkedin开源的kafka-monitor安装文档 linkedin 开源的kafka-monitor的安装使用可以参考官方的readme:流程介绍的已经比较清楚,但是还是有一些地方需要修正.让大家可以少填一些坑. 前提条件 Kafka Monitor 需要 Gradle 2.0 或者更高版本. 编译和执行都需要在java8环境下. 下载源码 $ git clone https://github.com/linkedin/kafka-monitor.git $ cd kafka-monit…

INSTALLORACLE DATABASE 12C 完整的安装文档下载地址: http://download.csdn.net/detail/royjj/5665869 OS:ORALCE LINUX 5.8 DB:ORACLE DATABASE 12C                                  MADE bylixora lixora@foxmail.com 为了快速搭建oracle database 12c的测试环境,在这里使用oracle-validated-rp…

HAProxy安装文档 [toc][TOC] 一.环境说明 系统环境:CentOS Linux release 7.2.1511 (Core) 系统内核:3.10.0-327.el7.x86_64 软件:haproxy-1.5.8.tar.gz 安装方式:源码编译安装 安装位置:/usr/local/haproxy 官方文档: http://cbonte.github.io/haproxy-dconv/1.5/configuration.html 二.安装配置 1.创建用户 $ sudo use…

参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs.oracle.com/en/database/oracle/oracle-database/12.2/ladbi/index.html https://oracle-base.com/articles/linux/udev-scsi-rules-configuration-in-oracle-lin…

参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs.oracle.com/en/database/oracle/oracle-database/12.2/ladbi/index.html https://oracle-base.com/articles/linux/udev-scsi-rules-configuration-in-oracle-lin…

Linux rhel7 下MySQL5.7.18详细安装文档 本文安装MySQL5.7使用的是vm虚拟机rhel7操作系统 ,ftp文件传输是FileZilla3.27,远程连接xssh5.0 1 登录MySQL官网下载mysql,下载地址 https://dev.mysql.com/downloads/mysql/  这里使用的是rpm包安装,下载对应的社区版rpm包,注意的是需要登录甲骨文才能下载,不能只下载mysql-server服务器,因为有依赖关系,得下载下面五个包 2 查看系统是否已…

本文档主要内容有: 1.hadoop 2.2.0 集群安装与部署 2.HBase 0.96 集群安装与部署 3.Zookeeper 3.4.5集群安装部署 备注:安装文档可能有所遗漏,后续将持续更新.分享文档的目的就是降低hadoop学习难度,降低hadoop入门门槛. 知识在于分享,知识在于传播!欢迎交流与共享!共同进步才是最终目的! 下载地址:http://files.cnblogs.com/likehua/hadoop2.2.0_hbase0.96_zookeeper3.4.5%E5%85…

原文地址:linux+nginx+python+mysql安装文档作者:oracletom # 开发包(如果centos没有安装数据库服务,那么要安装下面的mysql开发包) MySQL-devel-community-5.1.46-1.rhel5.x86_64.rpm 或是32位 1.安装mysql-5.5.2-m2-linux-i686-icc-glibc23.tar.gz groupadd mysql useradd -g mysql mysql tar -xzvf /home/xqian…

k8s 安装文档 1.5 http://blog.csdn.net/bobpen/article/details/78958675…

ELK安装文档: http://cuidehua.blog.51cto.com/5449828/1769525 如何将客户端日志通过ogstash-forwarder发送给服务端的logstash http://cuidehua.blog.51cto.com/5449828/1771979 elk的搜索常用 基于lucence http://cuidehua.blog.51cto.com/5449828/1772356 elk入门概念详解 http://cuidehua.blog.51cto.c…

Deepgreen分布式安装文档 环境准备 1.安装VMware虚拟机软件,然后在VMware安装三台Linux虚拟机(使用centos7版本) 2.使用的虚拟机如下: 192.168.136.155  mdw 192.168.136.156  sdw1 192.168.136.157  sdw2 2.1三台虚拟机分别修改主机名为:mdw/sdw1/sdw2 [root@localhost ~]# hostnamectl set-hostname mdw 2.2三台虚拟机分别添加主机名和ip对应…

一.Atlassian Confluence 6.0.3安装文档包含内容 1.wiki的安装步骤: 2.旧系统迁移中碰到的无法编辑和问题和解决方案: 3.wiki源码安装包.连接mysql用的jar包和相关的汉化包. 二.安装文档结构图 三.wiki下载地址:https://download.csdn.net/download/xianhenyuan/10749295…

SAP_ECC6_EHP7_IDES安装文档ORACLE11G+WINDOWS2012 R2 问题总结 1.注意密码不能带@等特殊符号,否则会报如下错误,因为ORACLE数据是不容许密码带@的.@是一个关键字 2.安装程序权限不足,需要手工创建SAP需要的用户并赋予相应的权限. 否则会报如下错误 解决方案: ①通过命令行方式运行安装程序 C:\soft\EHP7_IDES_SETUP\MASTER\SWPM10SP06_3-20009707>sapinst.exe IS_HOST_LOCAL_U…

python多版本控制pyenv安装文档 1.在线安装: curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash [root@enofyw tools]# curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash % Total % Received % Xferd…

Docker相关环境全套安装文档兼小技能 以下环境皆为ubuntu16.04,主要安装docker,docker-compose,docker仓库等. Docker安装 参考官方 A: 有源安装 Ubuntu的 Docker 安装: sudo apt-get remove docker docker-engine docker.io containerd runc sudo apt-get update sudo apt-get install \ apt-transport-https \ c…

zabbix4.2Proxy安装文档 目录 zabbix4.2Proxy安装文档    1 一.安装    2 1.前期安装准备    2 2.安装zabbix RPM源    3 2.1下载zabbix RPM源包    3 2.2安装zabbix RPM源包    3 3.安装zabbix组件(zabbix-proxy.zabbix-agent)    4 4.安装mysql数据库,导入zabbix数据库    5 4.1安装mysql数据库    5 4.2安装mysql-server  …

1    安装前准备: 1.1   安装JDK 卸载openjdk # rpm -qa | grep java # yum remove java-1.8.0-openjdk # yum remove java-1.8.0-openjdk-headless 安装JDK包 # rpm -ivh jdk-8u191-linux-x64.rpm 1.2   安装依赖包 # yum install -y net-snmp net-snmp-devel OpenIPMI-devel libssh2-dev…

这个文档的目标是:各位小伙伴通过这个文档,可以在一台全新的 Ubuntu 电脑上搭建平常开发使用的环境,主要包含 Node.js, git 和 编辑器部分. 这是针对 Ubuntu 系统的安装文档,Windows 文档点击这里. git 和 git GUI git 是一个版本控制工具,我们使用 coding.net 存放 git 的远程仓库. git 已有 git? 在 bash 中查看 git 版本,建议使用 2.10 以后的 git (Windows). $ git --version 安装…

Mysql5.7.20安装文档 一.Linxu下数据库的恢复和备份 当我们MySQL数据库保存重要数据的时候,备份工作极为重要.本文介绍如何使用mysqldump备份和恢复数据,使用该方法,可以将数据库中的数据备份成一个文本文件,也可将备份好的数据库迁移到另一台的服务器.(后面是实际操作的过程) (1) 从命令行备份MySQL数据库 在Linux操作系统中,我们可以使用mysqldump命令进行备份.该命令将连接MySQL服务器并创建SQL转储文件,该文件包含了重新创建数据库所必需的所有SQL语…

简介: Apache HBase 是一个分布式的.面向列的开源 NoSQL 数据库.具有高性能.高可靠性.可伸缩.面向列.分布式存储的特性. HBase 的数据文件最终落地在 HDFS 之上,所以在 Hadoop 集群中,DataNode 节点都需安装 HBase Worker Node. 另外,HBase 受 ZooKeeper 管理,还需安装 ZooKeeper 单机或集群.建议 HBase Master 节点不要与集群中其余 Master 节点安装在同一台物理服务器. HBase Mast…