一.安装jdk 1.下载jdk压缩包并移动到/usr/local目录 mv jdk-8u162-linux-x64.tar.gz /usr/local 2.解压 tar -zxvf jdk-8u162-linux-x64.tar.gz 配置JDK环境变量 export JAVA_HOME=/usr/local/jdk1.8.0_162 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOM

作者:Jack47 转载请保留作者和原文出处 欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源. 交代一下背景:我们的后台系统是一套使用Kafka消息队列的数据处理管线:Kafka->Logstash->Elasticsearch.这些组件都跑在Docker的容器环境里,我们是基于Kubernetes来编排整个后端的数据处理管线上的容器.Kafka需要暴露在外网里,接收Kafka Producer(filebeat, collectd)发过来的消息.本文是记录基

转载请注明原作者(think8848)和出处(http://think8848.cnblogs.com) 部署Postgresql和部署PostGis请参考前两篇文章 本文主要参考GitHub上osm2pgsql的说明文档 1. 先安装Git sudo yum install git -y 2. 下载osm2pgsql源码 cd ~ git clone git://github.com/openstreetmap/osm2pgsql.git 在GitHub上下载文档实在是慢的难以忍受,建议还是使

CentOS 7部署Kafka和Kafka集群 注意事项 需要启动多个shell脚本交互客户端进行验证,运行中的客户端不要停止. 准备工作: 安装java并设置java环境变量,在`/etc/profile`中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin 安装kafka 下载:wget http://mirrors.cnnic.cn/apache/kafka/0.10.0.1/kafka_2.

windows 下部署kafka 日记 转一.下载去apache 的官网(http://kafka.apache.org/downloads.html)下载最新的二进制版的压缩包.目前的最新版本是kafka_2.11-0.8.2.1.tgz.二.解压直接解压到D 盘根目录下.三.修改配置文件注意版本不同,可能配置文件不同.请参照实际情况修改.1．修改log4j.properties 文件中的“kafka.logs.dir=logs ”为“kafka.logs.dir=/tmp/logs”.2．修

centos7 部署shadowsocks服务端 为什么要选centos7? 以后centos7 肯定是主流,在不重要的环境还是尽量使用新系统吧 centos7 的坑 默认可能会有firewall 或者iptables启动 需要配置或者关闭,为了省事,我选择关闭 #查看所有的可用服务 systemctl list-unit-files |grep service |grep enable #关闭服务 systemctl stop ipatables #开机不启动 systemctl disabl

一.概述 在k8s里面部署kafka.zookeeper这种有状态的服务,不能使用deployment和RC,k8s提供了一种专门用来部署这种有状态的服务的API--statefulset,有状态简单来说就是需要持久化数据,比如日志.数据库数据.服务状态等. statefulset应用场景: 稳定的持久化存储,即Pod重新调度后还是能访问到相同的持久化数据,基于PVC来实现 稳定的网络标志,即Pod重新调度后其PodName和HostName不变,基于Headless Service(即没有Cl

=============================================== 2019/4/10_第1次修改                       ccb_warlock =============================================== 将原先docker swarm的文章拆分后,我决定将docker compose的部署内容单独整理成文章,使得部署逻辑更清晰. docker compose是docker容器批量编排的工具,可以通过1个yml

=============================================== 2019/4/9_第1次修改                       ccb_warlock =============================================== 最早整理的“centos7 部署docker.shipyard”是我刚接触docker时记录的教程,存在下面几个问题: 1.docker安装的方式较为复杂: 2.shipyard在很早以前已经停止更新: 而我目

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还

=============================================== 2019/4/29_第3次修改                       ccb_warlock 更新说明: 2019/4/29:增加了“centos7 部署 open-falcon 0.2.1”的内容. 2017/12/06:由于open-falcon已有0.2.1,增加文字说明,避免命令一路执行下来出现问题(例如“2.2 解压二进制包”). ===========================

=============================================== 2019/4/9_第3次修改                       ccb_warlock 更新说明: 2019/4/9:增加了对docker部署.portainer部署的引用 2019/4/2:[已弃用] shipyard早已停更,该记录文档已无法成功部署: 早期对docker-ce部署的内容逻辑有些繁琐: ===========================================

=============================================== 2019/4/9_第3次修改                       ccb_warlock 更新说明: 2019/4/9:重新整理了docker swarm的部署步骤 2018/12/14:精简docker-compose部署的命令: 增加18.09.0-ce以后的hosts(2.3 配置hosts信息)配置方法: ========================================

CentOS7部署Nginx 1.准备工作 Nginx的安装依赖于以下三个包,意思就是在安装Nginx之前首先必须安装一下的三个包,注意安装顺序如下: 1 SSL功能需要openssl库,直接通过yum安装: #yum install openssl 2 gzip模块需要zlib库,直接通过yum安装: #yum install zlib 3 rewrite模块需要pcre库,直接通过yum安装: #yum install pcre 这个是在这篇博文 http://www.cnblogs.com

centos7部署JavaWeb项目共有三步 1.配置java环境 2.配置tomcat环境. 3.部署JavaWeb项目 一.配置java环境 1.1安装java 参考我的另一篇博文:https://www.cnblogs.com/walblog/p/9350541.html 二.安装tomcat环境 下载tomcat,把压缩包放到/root目录下,解压缩 .tar.gz 编辑对应的java路径 vim /root/apache-tomcat-/bin/setclasspath.sh 启动to

CentOS7 搭建Kafka(三)工具篇 做为一名懒人,自然不喜欢敲那些命令,一个是容易出错,另外一个是懒得记,能有个工具就最好了,一查还挺多,我们用个最主流的Kafka Manager Kafka Manager kafka manager是yahoo为了维护kafka而开发的一款web管理工具,你可以利用他来管理集群.副本及Topic等,且项目在GitHub上开源: 源码:[https://github.com/yahoo/kafka-manager] 安装包:[https://githu

CentOS7 搭建Kafka(二)kafka篇 前面我们说了zookeeper的搭建,zookeeper运行后就可以着手搭建kafka了. 必看 喜欢官方文档的请移步:[http://kafka.apache.org/documentation.html] 写的比我好的多请移步:[https://www.cnblogs.com/luotianshuai/p/5206662.html] 比较完整的教程请移步:[https://www.w3cschool.cn/apache_kafka/apach

CentOS7 搭建Kafka(一)zookeeper篇 近几年当红小生Kafka备受各路英雄好汉追捧,一点不比老前辈RabbitMQ和ActiveMQ差,因为流行,所以你就得学啊:我这么懒,肯定是不愿意学的,流行也跟我没啥关系,人工智能那么火我去学了么?好吧,我学了一点放弃了,学渣伤不起.我们部门和各个业务部都有对接,但每个业务部各自为政,还很强势,各种技术都用,稍微有点要求满足不了,那就要到领导去哭诉,所以用RabbitMQ的有.用Kafka的有,用RestfulAPI的有,走FileQue

Linux Centos7部署环境安装-CentOS Centos7部署环境安装及Linux常用命令 centos系统下各文件夹的作用 centos7修改系统默认语言 centos7安装rz/sz命令 centos7安装netstat centos7安装lsof命令 centos7下载并安装jdk并配置环境变量 centos7安装Tomcat centos7安装Nginx centos7安装MySQL Linux常用命令 centos系统下各文件夹的作用 /: 根目录,一般根目录下只存放目录,不

既然是集群,必然有多个Kafka节点,只有单节点构成的Kafka伪集群只能用于日常测试,不可能满足线上生产需求. 真正的线上环境需要考量各种因素,结合自身的业务需求而制定.看一些考虑因素(以下顺序,可是分了顺序的哦) 1 操作系统 - OS 可能你会问Kafka不是JVM上的大数据框架吗?Java又是跨平台的语言,把Kafka安装到不同的操作系统上会有什么区别吗? 区别相当大! 确实,Kafka由Scala/Java编写,编译后源码就是".class"文件. 本来部署到哪个OS应该一样

ref : https://www.jianshu.com/p/7635ea96e53f 用 Docker 部署 Kafka   Kafka 简介 作为一个消息中间件,Kafka 以高扩展性.高吞吐量等特点,在互联网项目中被广泛采用.不清楚 Kafka 的同学,可以先看看这篇文章:http://blog.csdn.net/suifeng3051/article/details/48053965 部署 Kafka 为了方便初学者能快速试用 Kafka ,本文演示了如何用 Docker 快速部署一个