可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0.1之后,安装部署变得容易得多了,比起Storm0.8.x的版本,Storm少了zeromq和jzmq的安装,也省去了很多编译这些插件时出现的bug. 1.Storm-0.9.0.1 版本的亮点: 1.…

大数据篇:DolphinScheduler-1.2.0.release安装部署 1 配置jdk #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装 rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 修改配置文件 vim /etc/profile #添加 export JAVA_H…

环境准备  vs开发环境:vs2017 consul版本: 1.4.4 netcore版本:2.1 安裝Consul  1.从官网下载consul到本地,选择系统对应的版本进行下载到本地,下载地址:https://www.consul.io/downloads.html 2.下载到本地之后解压压缩文件,并且配置环境变量(不需要每次都得到文件所在的目录文件夹下进行启动consul) 3.配置完成之后打开cmd输入consul,出现以下页面代表配置成功!~ 4.输入consul agent -dev…

参考博文:kafka 配置文件参数详解 参考博文:Kafka[第一篇]Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.properties 参考博文:kafka常用配置[重要] 参考博文:kafka常用配置 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.zookeeper.kafka QuorumPe…

elasticsearch+kibana+metricbeat安装部署方法 本文是elasticsearch + kibana + metricbeat,没有涉及到logstash部分.通过beat收集数据发送到elasticsearch中,用kibana去查询elasticsearch来展示数据. 以下是安装部署需要准备的包: 安装包 版本 elasticsearch-5.1.2.rpm 5.1.2 kibana-5.1.2-x86_64.rpm 5.1.2 metricbeat-5.1.2-…

一.hadoop2.0安装部署流程         1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费)         2.使用RPM包安装部署:Apache hadoop不支持.HDP与CDH提供         3.使用jar包安装部署:各版本均提供.(初期为了理解hadoop,建议使用这种方式)         部署流程:                 准备硬件(Linux操作系统)                 准备软件安装包,并安装基础软件…

目录: 第一部分:操作系统准备工作: 1. 安装部署CentOS7.3 1611 2. CentOS7软件安装(net-tools, wget, vim等) 3. 更新CentOS7的Yum源,更新软件速度更快 4. CentOS 用户配置,Sudo授权 第二部分:Java环境准备 1. JDK1.8 安装与配置 第三部分:Hadoop配置,启动与验证 1. 解压Hadoop2.7.3更新全局变量 2. 更新Hadoop配置文件 3. 启动Hadoop 4. 验证Hadoop =========…

搭建Hadoop环境( 我以hadoop 2.7.3 为例, 系统为 64bit Ubuntu14.04 ) hadoop 2.7.3 官网下载 , 选择自己要安装的版本.注意每个版本对应两个下载选项source和binary,我们暂时下载binary,我们下载编译好的文件hadoop-2.7.3.tar.gz , 解压后为 hadoop-2.7.3 , 这个可以直接安装部署. ( 如果下载源代码文件 hadoop-2.7.3-src.tar.gz , 需要先编译后才能进行安装部署. ) Had…

0x00 说明 此处已经省略基本配置步骤参考Hadoop1.0.3环境搭建流程,省略主要步骤有: 建立一般用户 关闭防火墙和SELinux 网络配置 0x01 配置master免密钥登录slave 生成密钥 $ su hadoop $ ssh-keygen -t rsa 将id_rsa.pub追加到授权key中(要将所有slave节点的公钥都追加到该文件中,此处仅列举一条命令) $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将authori…

0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 0x01 hadoop平台环境 操作系统:CentOS-6.5-x86_64 Java版本:jdk_1.8.0_111 Hadoop版本:hadoop-1.0.3 0x02 安装操作系统(简要) 2.1 准备安装镜像 CentOS-6.5-x86_64-bin-DVD1…

系统:linux java:jdk 8,64-bit Connector:hive 分布式,node1-3 node1:Coordinator . Discovery service node2-3:Worker 开始安装部署 除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例 Presto Server配置 解压缩presto-server-0.166.tar.gz tar zxvf presto-server-0.166.tar.gz 在presto-s…

本文接上文内容继续: server01 192.168.8.118 jdk.www.fengshen157.com/ hadoop NameNode.DFSZKFailoverController(zkfc) server02 192.168.8.119 jdk.www.baohuayule.net  hadoop NameNode.DFSZKFailoverController(zkfc) server03 192.168.8.120 jdk.www.thd178.com hadoop Res…

前言:前段时间将hadoop01的虚拟机弄的崩溃掉了,也没有备份,重新从hadoop02虚拟上克隆过来的,结果hadoop-eclipse插件一样的编译,居然用不起了,找了3天的原因,最后还是没有解决,只能用hadoop shell 命令去测试了,反正影响不大,只不过用着不方便而已. 心累中........... 正文: 解压安装Hadoop [hadoop@hadoop01 ~]$ cp /home/hadoop/Resources/hadoop-3.2.0.tar.gz ~/ [hadoop…

一.Hadoop安装部署的预备条件 准备:1.安装Linux和JDK. 安装JDK 解压:tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/ 设置环境变量:vi ~/.bash_profile JAVA_HOME=/root/training/jdk1.8.0_144 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH 生效环境变量: source ~/.bash_profile 2.关…

hadoop发行的版本:apache hadoop;HDP;CDH -----这里只使用apache hadoop---可以在网站hadoop.apache.org网站上找到 hadoop安装方式:自动部署:RPM包:JAR包----这里使用jar包的安装方式 hadoop安装部署流程: 1 准备硬件linux操作系统 ---分为生产环境--多linux机器和测试环境-一linux或者虚拟机------只讲测试环境 ---在windows系统安装vmwares,并且虚拟出来3个系统 ---每个系…

suricata 很值得借鉴.但是首先还是要安装使用,作为第一步的熟悉. 安装文档:https://redmine.openinfosecfoundation.org/projects/suricata/wiki/CentOS_Installation 1. 先做个虚拟机: ┬─[tong@T7:~/VM/suricata-centos7]─[:: AM] ╰─>$ cat start.sh #! /usr/bin/bash sudo qemu-system-x86_64 -enable-kvm…

关闭防火墙 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux #vi /etc/selinux/config SELINUX=disabledSELINUXTYPE=targeted 安装jdk1.8:#cd /usr#tar zxvf jdk-8u131-linux-x64.tar.gz 解压出来的目录改名为java vi /e…

zabbix安装部署 目录 一.环境准备... 3 1.1.版本:... 3 1.2.部署环境... 3 二.安装部署... 3 2.1.zabbix安装... 3 2.1.1.下载zabbix的rpm仓库包... 3 2.1.2.更新yum.. 3 2.1.3.安装zabbix-server和zabbix-web-mysql 3 2.2.安装并且启动mysql5.6及初始化数据库信息... 4 2.2.1.下载mysql的rpm包... 4 2.2.2.安装mysql 4 2.2.3.启动my…

该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain.NameNode.HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain…

hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在hadoop2中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态.Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换. 这里还配置了一个zookeeper…

1  1.1 1.2 :安装HBase 2.1 内容 运行环境说明 1.1 硬软件环境 线程,主频2.2G,6G内存 l  虚拟软件:VMware® Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOS 64位,单核,1G内存 l  JDK:1.7.0_55 64 bit l  Hadoop:1.1.2 1.2 机器网络环境 个namenode.2个datanode,其中节点之间可以相互ping通.节点IP地址和主机名分布如下: 序号 IP地址 机器名…

0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common 1. 集群环境 操作系统 CentOS7 集群规划 Master 192.168.1.210 Slave1 192.168.1.211 Slave2 192.168.1.203 2. 关闭系统防火墙及内核防火墙 #Execute in Master.Slave1.Slave2 #关闭一次防火墙 systemctl stop firewalld #永久关闭防火墙 systemc…

使用hadoop版本是DKH标准三节点发行版,DKHadoop版本的易用性比较好,环境部署要简单的多,参考此篇安装前请先下载DKHadoop版本,网盘链接:https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg  提取码:vg2w   第一部分:准备工作 1. 大数据平台所需配置: (1) 系统:CentOS 6.5 64位(需默认安装Desktop) (2) CPU :intel E3及以上. (3) 内存:建议最小8G,用图计算建议32G,推荐128G…

0x00 平台环境 OS: CentOS-6.5-x86_64 JDK: jdk-8u111-linux-x64 Hadoop: hadoop-2.5.2 0x01 操作系统基本设置 1.1 网络配置 修改主机名 //查看当前主机名 # hostname //修改当前主机名 vim /etc/sysconfig/network NETWORKING 是否利用网络 GATEWAY 默认网关 IPGATEWAYDEV 默认网关的接口名 HOSTNAME 主机名 DOMAIN 域名 配置静态IP #…

一.Drupal简介 Drupal 是使用PHP语言编写的开源内容管理框架(CMF),它由内容管理系统(CMS)和PHP开发框架(Framework)共同构成.连续多年荣获全球最佳CMS大奖,是基于PHP语言最著名的WEB应用程序.截止2011年底,共有13,802位WEB专家参加了Drupal的开发工作:228个国家使用181种语言的729,791位网站设计工作者使用Drupal.著名案例包括:联合国.美国白宫.美国商务部.纽约时报.华纳.迪斯尼.联邦快递.索尼.美国哈佛大学.Ubuntu等.…

适用于jumperserver版本:v0.3.1-2  官网:http://www.jumpserver.org/ 系统:centos7.2 基本安装 备注:如果是centos系统最好使用基本安装,否则可能出现python版本和jumper要求的不一致 服务端的安装 1. 安装git  yum -y install git 2. 下载jumpserver  cd /opt git clone https://github.com/jumpserver/jumpserver.git 注:不要安装在…

MySQL:5.6.21 nginx:1.62 PHP:5.7 pcre:8.32 zabbix:3.0.4 LNMP安装步骤略过 # tar xvf zabbix-3.0.4.tar.gz # cd zabbix-3.0.4 cat >> /etc/services <eof zabbix-agent    10050/tcp                          #ZabbixAgent zabbix-agent    10050/udp                 …

1.Nagios工作原理 Nagios周期性调用插件检测服务器状态,并维持一个队列,所有插件返回状态信息都进入队列,Nagios每次从队首开始读取信息,并把状态通过web显示. 安装完成后,在nagios主目录下/libexec放有nagios自带所有插件,如check_disk检查磁盘空间插 2.安装阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clea…

  CentOS7-1 CentOS7-2 CentOS7-3 CentOS7-4 nimbus supervisor supervisor supervisor core(UI)       1.首先安装配置zookeeper 2.Python安装(官网要求2.6.6以上),CentOS7系统自带2.7.x版本. 3.配置/opt/apache-storm-1.0.3/conf/storm.yaml  storm.zookeeper.servers: - "CentOS7-1" -…

  知识部分:一.什么是vSphere?vSphere是VNware公司在2001年基于云计算推出的一套企业级虚拟化解决方案.核心组件为ESXi.如今,经历了5个版本的改进,已经实现了虚拟化基础架构.高可用性.集中管理.性能监控等一体化解决方案.二.vSphere基础物理架构 虚拟化服务器:又称x86服务器,可以由多个ESXi组成,通过网络服务提供CPU和内存资源,所有的虚拟机运行在该服务器中.存储网络:用于存储所有的虚拟化数据,虚拟机的性能也与之息息相关.存储网络可以使用SAN.NAS等存储技…