1.Windows安装 https://blog.csdn.net/clj198606061111/article/details/99694033 2.Linux安装 https://blog.csdn.net/weixin_39984161/article/details/93056566…

Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flink 常用的 DataSet 和 DataStream API 第05讲:Flink SQL & Table 编程和案例 第06讲:Flink 集群安装部署和 HA 配置 第07讲:Flink 常见核心概念分析 第08讲:Flink 窗口.时间和水印 第09讲:Flink 状态与容错 我们在这一课时将…

以下操作均在主节点进行 1.环境变量 添加FLINK_HOME以及path的内容: export FLINK_HOME=/bigdata/flink- export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin:${FLINK_HOME}/bin 2.修改conf/flink-conf.yaml 这几乎是最简单的配置方式了,主要注意要修改jobmanager.rpc.address为集群中jobManager的IP或h…

一.软件要求 Flink在所有类UNIX的环境[例如linux,mac os x和cygwin]上运行,并期望集群由一个 主节点和一个或多个工作节点组成.在开始设置系统之前,确保在每个节点上都安装了一下软件: 1.Java1.8.x或更高版本 2.ssh,必须运行sshd才能使用管理远程组件的Flink脚本 在所有集群节点上都具有免密码的ssh和相同的目录结构,将使你可以使用flink脚本来控制所有内容. 二.Flink Standalone模式设置 1.下载 前往Flink官网下载最新版Fli…

生产环境下redis基本上都是用的集群,毕竟单机版随时都可能挂掉,风险太大.这里我就来搭建一个基本的redis集群,功能够用但是还需要完善,当然如果有钱可以去阿里云买云数据库Redis版的,那个还是很不错的. 一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4):进群管理:cluster xxx. 5):基于配置(nodes-port.conf)的集群管…

目录 前言 整体介绍 分步安装介绍 总结 一.前言        周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行.总体是安装的很慢,但是其中有很多细节问题,需要记录下来使以后再次安装少走弯路,以及给其他有需要的人提供一点参考. 二.整体介绍        整体上可以借鉴之前我写的一篇博客使用Ambari安装hadoop集群.安装共分三步,第一步安装并配置操作系统(本文采用Ubuntu14.04,其他的可以参考相…

摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ CentOS-6.5-x86_64-bin-DVD1.iso      ▪ jdk-6u45-linux-x64-rpm.bin      ▪ hadoop-1.2.1-1.x86_64.rpm 1.规划    功能              HOSTNAME             IP        …

安装真实集群,而不是但节点或者伪分布式,以3个节点为例,node1为NameNode和SecondNameNode,node2和node3为DataNode. 1.3台机器的配置必须要一模一样,只需要在node1上配置好之后,scp到node2和node3上就行了: 2.安装ssh免密码登录,和Git的ssh生成有所不一样,需要按照hadoop.apache.org的document里面生成的方式进行: 3.参考http://www.linuxidc.com/Linux/2015-11/1248…

kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目.在它的主页描述kafka为一个高吞吐量的分布式(能 将消息分散到不同的节点上)MQ.在这片博文中,作者简单提到了开发kafka而不选择已有MQ系统的原因.两个原因:性能和扩展性.Kafka仅仅由 7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB). 安装准备 版本 Kafka版本:kafka_2.10-0.8.2.0 Zookeeper…

一共准备3个CentOS虚拟机 172.16.9.194 172.16.9.195 172.16.9.196 上传zookeeper-3.3.6.tar.gz到服务器并解压,3台服务器的目录结构如下 [root@localhost zookeeper-3.3.6]# pwd /opt/zookeeper-3.3.6 在zookeeper目录瞎创建data文件夹 [root@localhost zookeeper-3.3.6]# ls bin CHANGES.txt contrib dist-ma…

由于越来越多的人开始使用spark计算框架了,而且spark计算框架也是可以运行在yarn的平台上,因此可以利用单个集群,运行多个计算框架.这是一些大公司都是这么干的.好了,下面讲一下spark1.3.1是如何安装到集群上去的. 1.由于spark的计算框架依赖于scala,因此在安装spark之前,必须安装scala,于是通过网上下载scala-2.10.5.tgz软件包 (1)解压 tar -zxvf scala-2.10.5.tgz (2)配置环境变量 SCALA_HOME=/home/g…

Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用ambari安装Hadoop? 那玩意儿还得先搭建服务器,没个半天功夫根本就装不上. 而Quick Hadoop打开就能用,爽啊. 软件地址:http://www.contactsshare.com/              有点大,慢慢下载. 截图先:…

继续接上一章,已安装好Hadoop集群环境 http://www.cnblogs.com/dopeter/p/4612232.html 在此基础上继续安装Hbase集群 Hbase版本为1.0.1.1 一. 安装与配置Hbase 1. 解压 tar -zxvf hbase-1.0.1.1-bin.tar.gz-C /opt 2. 配置 cd /opt/hbase-1.0.1.1/conf vi hbase-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_45…

docker安装hadoop集群?图啥呢?不图啥,就是图好玩.本篇博客主要是来教大家如何搭建一个docker的hadoop集群.不要问 为什么我要做这么无聊的事情,答案你也许知道,因为没有女票....... 好了,不多说这些没有必要的东西了,首先,我们来安装docker. 一.docker的安装 sudo yum install -y docker-io sudo wget https://get.docker.com/builds/Linux/x86_64/docker-latest -O /…

2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术:给我的学习内容是通过Ambari安装Hadoop集群.通过一周左右的学习和实践,整理出现在这篇安装心得.第一篇,重点放在Ambari-Server的搭建安装上. 安装默认使用Root用户,避免权限问题导致不成功. 使用4台虚拟机构建Ambari-Server.Hadoop集群…

linux下的es的tar包,拖到windows下,配置后,启动bin目录下的bat文件,也是可以正常运行的. 从linux下拷的tar包,需要修改虚拟机的内存elasticsearch.in.bat,否则会内存不够无法正常启动. 同时还需要修改数据和日志的存储路径. 最好还是在windows下安装对应的es的zip包,虽然使用tar包一直没发现什么问题.es2.1的zip包在bulk更新时有bug,linux版的则是好的. windows单节点下安装es集群,基于es2.1版本,需要有以下的注…

1 Flink的前世今生(生态很重要) 原文:https://blog.csdn.net/shenshouniu/article/details/84439459 很多人可能都是在 2015 年才听到 Flink 这个词,其实早在 2008 年,Flink 的前身已经是柏林理工大学一个研究性项目, 在 2014 被 Apache 孵化器所接受,然后迅速地成为了 ASF(Apache Software Foundation)的顶级项目之一. Apache Flink is an open sour…

前前后后安装了几次redis集群,基本上每次安装都会采坑,耗时伤神. 安装redis依赖gcc环境,安装前先检查liunx上面有没有安装GCC 命令:gcc -v 上传redis-4.0.1.tar.gz  到/home 下 解压:tar -zxvf redis-4.0.1.tar.gz 然后 make & make install 在usr/local 目录下创建redis-cluster 文件建 在在redis-cluster 文件夹里面创建redis-4.0 文件夹和redis7001.r…

 在线安装TiDB集群 服务器准备 说明:TiDB8需要能够连接外网,以便下载各类安装包 TiDB4非必须,但最好是有一台,因为后续测试Mysql数据同步或者进行性能比较时,都要用到 TiKV最好是采用Ext4文件格式,所以使用挂载盘的方式增加(如果没有数据盘,那么不配置也能安装成功) 机器名 IP 操作系统 配置 用途 TiDB1 ***.62 CentOS7.4 X64 4C+8G+60G+200G扩展 TiKV+TiSpark TiDB2 ***.63 CentOS7.4 X64 4C+8…

通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai/p/3295644.html 批量设置ssh无密码登陆脚本 http://www.cnblogs.com/cenyuhai/p/3280668.html 使用Ambari快速部署Hadoop大数据环境 http://www.cnblogs.com/scotoma/archive/2012/09/1…

版本号: RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5) JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808 Hadoop2.7.3   RedHat6.5上安装Hadoop集群 scala-2.11.8 spark-2.1.1-bin-hadoop2.7 1 安装Spark依赖的Scala Hadoop的安装请参考上面提到的博文,因为Spark依赖scala,所以…

版本号: Redhat6.5    JDK1.8     zookeeper-3.4.6   kafka_2.11-0.8.2.1 1.软件环境 1.3台RedHat机器,master.slave1.slave2 机器IP与名称对应关系如下: 192.168.168.200       master 192.168.168.201       slave1 192.168.168.202       slave2 2.已经搭建好的zookeeper集群:RedHat6.5安装zookeeper集…

安装memcache集群管理工具magent 一.安装libevent tar xf libevent--stable.tar.gz cd libevent- ./configure --prefix=/usr/local/libevent make && make install echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf ldconfig 二.安装magent mkdir /…

一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4):进群管理:cluster xxx. 5):基于配置(nodes-port.conf)的集群管理. 6):ASK 转向/MOVED 转向机制. 1.2.redis cluster 架构 1)redis-cluster架构图 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制),内部使…

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必…

kubespray(ansible)自动化安装k8s集群 https://github.com/kubernetes-incubator/kubespray https://kubernetes.io/docs/setup/pick-right-solution/ kubespray本质是一堆ansible的role文件,通过这种方式,即ansible方式可以自动化的安装高可用k8s集群,目前支持1.9. 安装完成后,k8s所有组件都是通过hyperkube的容器化来运行的. 最佳安装cento…

http://blog.csdn.net/u010246789/article/details/52101026 利用VMware在虚拟机上安装Zookeeper集群 pasting…

最近在作安装k8s集群,测试了几种方法,最终觉得用kubeadm应该最规范. 限于公司特别的网络情况,其安装比网上不能访问google的情况还要艰难. 慢慢积累经验吧. 今天遇到的三则故障记下来作参考. 当然,所有方法都是看了log输出后,从网上搜索的方法. =============== Q,如何让kubeadm在安装过程中不联网? A:记得在kubeadm init过程中增加参数 --kubernetes-version=v1.7.0 Q,kubelet cgroup driver参数不一致…

Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 Centos7完全分布式搭建Hadoop2.7.3------https://www.cnblogs.com/ksWorld/p/6704867.html CentOS7安装Hadoop2.7.3完整流程及总结----https://blog.csdn.net/wl0909/article/det…

kubernetes 1.5 的安装和集群环境部署 文章转载自:http://www.cnblogs.com/tynia/p/k8s-cluster.html 简介: Docker:是一个开源的应用容器引擎,可以为应用创建一个轻量级的.可移植的.自给自足的容器. Kubernetes:由Google开源的Docker容器集群管理系统,为容器化的应用提供资源调度.部署运行.服务发现.扩容缩容等功能. Etcd:由CoreOS开发并维护的一个高可用的键值存储系统,主要用于共享配置和服务发现. Fla…