Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)——Hbase安装:http://www.cnblogs.com/po…

可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0.1之后,安装部署变得容易得多了,比起Storm0.8.x的版本,Storm少了zeromq和jzmq的安装,也省去了很多编译这些插件时出现的bug. 1.Storm-0.9.0.1 版本的亮点: 1.…

Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)——Hbase安装:http://www.cnblogs.com/po…

虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的,如果只是为了研究研究技术,而且是单机,内存较小的情况下,还是建议安装Apache的原生的集群拿来玩,生产上自然是Cloudera的集群,除非有十分强大的运维. 我这次配了3台虚拟机节点.各给了4G,要是宿主机内存就8G的,可以搞3台2G,应该也是ok的. Apache Hadoop集群离线安装部署(…

大数据篇:DolphinScheduler-1.2.0.release安装部署 1 配置jdk #查看命令 rpm -qa | grep java #删除命令 rpm -e --nodeps xxx 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装 rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 修改配置文件 vim /etc/profile #添加 export JAVA_H…

参考博文:kafka 配置文件参数详解 参考博文:Kafka[第一篇]Kafka集群搭建 参考博文:如何为Kafka集群选择合适的Partitions数量 参考博文:Kafka Server.properties 参考博文:kafka常用配置[重要] 参考博文:kafka常用配置 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.zookeeper.kafka QuorumPe…

zabbix安装部署 目录 一.环境准备... 3 1.1.版本:... 3 1.2.部署环境... 3 二.安装部署... 3 2.1.zabbix安装... 3 2.1.1.下载zabbix的rpm仓库包... 3 2.1.2.更新yum.. 3 2.1.3.安装zabbix-server和zabbix-web-mysql 3 2.2.安装并且启动mysql5.6及初始化数据库信息... 4 2.2.1.下载mysql的rpm包... 4 2.2.2.安装mysql 4 2.2.3.启动my…

suricata 很值得借鉴.但是首先还是要安装使用,作为第一步的熟悉. 安装文档:https://redmine.openinfosecfoundation.org/projects/suricata/wiki/CentOS_Installation 1. 先做个虚拟机: ┬─[tong@T7:~/VM/suricata-centos7]─[:: AM] ╰─>$ cat start.sh #! /usr/bin/bash sudo qemu-system-x86_64 -enable-kvm…

系统:linux java:jdk 8,64-bit Connector:hive 分布式,node1-3 node1:Coordinator . Discovery service node2-3:Worker 开始安装部署 除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例 Presto Server配置 解压缩presto-server-0.166.tar.gz tar zxvf presto-server-0.166.tar.gz 在presto-s…

该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain.NameNode.HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk.hadoop.zookeeper.hbase QuorumPeerMain…

0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 0x01 hadoop平台环境 操作系统:CentOS-6.5-x86_64 Java版本:jdk_1.8.0_111 Hadoop版本:hadoop-1.0.3 0x02 安装操作系统(简要) 2.1 准备安装镜像 CentOS-6.5-x86_64-bin-DVD1…

  CentOS7-1 CentOS7-2 CentOS7-3 CentOS7-4 nimbus supervisor supervisor supervisor core(UI)       1.首先安装配置zookeeper 2.Python安装(官网要求2.6.6以上),CentOS7系统自带2.7.x版本. 3.配置/opt/apache-storm-1.0.3/conf/storm.yaml  storm.zookeeper.servers: - "CentOS7-1" -…

关闭防火墙 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux #vi /etc/selinux/config SELINUX=disabledSELINUXTYPE=targeted 安装jdk1.8:#cd /usr#tar zxvf jdk-8u131-linux-x64.tar.gz 解压出来的目录改名为java vi /e…

适用于jumperserver版本:v0.3.1-2  官网:http://www.jumpserver.org/ 系统:centos7.2 基本安装 备注:如果是centos系统最好使用基本安装,否则可能出现python版本和jumper要求的不一致 服务端的安装 1. 安装git  yum -y install git 2. 下载jumpserver  cd /opt git clone https://github.com/jumpserver/jumpserver.git 注:不要安装在…

MySQL:5.6.21 nginx:1.62 PHP:5.7 pcre:8.32 zabbix:3.0.4 LNMP安装步骤略过 # tar xvf zabbix-3.0.4.tar.gz # cd zabbix-3.0.4 cat >> /etc/services <eof zabbix-agent    10050/tcp                          #ZabbixAgent zabbix-agent    10050/udp                 …

1.Nagios工作原理 Nagios周期性调用插件检测服务器状态,并维持一个队列,所有插件返回状态信息都进入队列,Nagios每次从队首开始读取信息,并把状态通过web显示. 安装完成后,在nagios主目录下/libexec放有nagios自带所有插件,如check_disk检查磁盘空间插 2.安装阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repoyum clea…

  知识部分:一.什么是vSphere?vSphere是VNware公司在2001年基于云计算推出的一套企业级虚拟化解决方案.核心组件为ESXi.如今,经历了5个版本的改进,已经实现了虚拟化基础架构.高可用性.集中管理.性能监控等一体化解决方案.二.vSphere基础物理架构 虚拟化服务器:又称x86服务器,可以由多个ESXi组成,通过网络服务提供CPU和内存资源,所有的虚拟机运行在该服务器中.存储网络:用于存储所有的虚拟化数据,虚拟机的性能也与之息息相关.存储网络可以使用SAN.NAS等存储技…

Veeam Backup & Replication 是一款数据保护软件,为VMware 和Hyper-V 虚拟机.物理与云环境提供了备份.复制与恢复选项.如有需要请去官方购买正版授权:https://www.veeam.com/ 本文基于VeeamBackup&Replication_10.0.0.4461版本安装,已在Windows2012R2版本下安装验证通过. 下载VeeamBackup&Replication_10.0.0.4461镜像:https://down.whsi…

Hive安装部署与配置 1.1 Hive安装地址 1)Hive官网地址: http://hive.apache.org/ 2)文档查看地址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3)下载地址: http://archive.apache.org/dist/hive/ 4)github地址: https://github.com/apache/hive 1.2 Hive安装部署 1)Hive安装及配置 (1…

storm图解 storm的基本概念 Topologies:拓扑,也俗称一个任务 Spoults:拓扑的消息源 Bolts:拓扑的处理逻辑单元 tuple:消息元组,在Spoults和Bolts传递数据报的一种格式 Streams:流 Streams groupings:流的分组策略 Tasks:任务处理单元 Executor:工作线程 Workers:工作进程 Configuration:topology的配置 官网:http://storm.apache.org/storm: 实时在线运算,…

由于 0.10.x 版 Kafka 与 0.8.x 版有很大的变化,这种变化对下游 Storm 有非常大的影响,0.10.x 版的 Kafka 不但增加了权限管理的功能,而且还将 simple 和 high consumer 的 offsets 进行统一管理,也就意味着在 0.8.x 中 Storm 需要去负责管理 offsets,而在 0.10.x 中,Storm 不需要关心 consumer 的 offsets 的问题,这对 KafkaSpout 的设计有很大的影响,本文就是对 Storm…

安装的过程参照此处的过程介绍(https://www.tutorialspoint.com/apache_storm/apache_storm_installation.htm) 安装的过程要安装3个东西,依次是:Java:Zookeeper framework:Apache storm framework. 1. 安装java.配置java环境变量.发现使用openjdk也是可以的. 2. 安装zookeeper.下载包,修改配置文件. 3. 安装storm.下载包,修改配置文件. 4. 在照…

官方网址 https://dev.mysql.com/downloads/mysql/社区版本分析 MySQL5.5:默认存储引擎改为InnoDB,提高性能和可扩展性,增加半同步复制 MySQL5.6:提高InnoDB性能,支持延迟复制 MySQL5.7:提升性能,增强复制功能 https://www.jianshu.com/p/6f2cb7874abd MySQL 5.6 ,5.7 ,8.0    在安装部署的异同 DBA干点啥子????? 初级:各版本.各平台安装搭建.升级 中级:体系结构原…

参考资料 官方文档:http://mesos.apache.org/documentation 中文翻译:http://mesos.mydoc.io/ GitHub:https://github.com/apache/mesos/tree/master 董的博客:http://dongxicheng.org/category/apache-mesos/ mesos下载源码 官网上下载源码 http://mesos.apache.org/downloads/ 安装依赖包 根据官网教程(http:/…

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出. 1. Storm集群组件 Storm集群中包含两…

一. Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类似于Hadoop中JobTracker的角色. 每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序.Supervisor负责监听从Nimbus分配给…

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以"注意事项"的形式给出. 1. Storm集群组件 Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node).其分别对应的角色如下: 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态.Nimbus的作用类…

前言 Apache Storm 是一个免费的,开源的,分布式的实时计算系统. 官方文档: http://storm.apache.org 中文文档: http://storm.apachecn.org ApacheCN 最近组织了翻译 Storm 1.1.0 中文文档 的活动,整体 翻译进度 为 96%. 感谢大家参与到该活动中来 感谢无私奉献的 贡献者,才有了这份 Storm 1.1.0 中文文档 感谢一路有你的陪伴,我们才可以做的更好,走的更快,走的更远,我们一直在努力 ... 网页地址:…

本节内容: Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui.Nimbus和Supervisor 一.Apache Storm是什么 Apache Storm是自由开源的分布式实时计算系统,擅长处理海量数据,适用于数据实时处理而非批处理. 批处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大.自动容错等优点,在海量数据处理上得到了广泛的使用.但是,hadoop不擅长实时…

[编者按]本文来自 Baqend Tech Blog,描述了如何在 Docker Swarm,而不是在虚拟机上部署和调配Apache Storm集群.文章系国内 ITOM 管理平台 OneAPM 编译呈现. 点此查看<在Docker Swarm上部署Apache Storm:第1部分> 创建Swarm集群 如果一切顺利,那么你现在已经有了三台Ubuntu服务器,每个上面都运行了一个Docker守护进程.可以通过私有网络中的zk1.cloud和manager.swarm访问Ubuntu 1,或者…