备注: 使用docker 模式进行安装   1. 准备docker 环境(需要docker-compose)      docker 的安装不需要进行多描述了,直接yum 或者源码编译也可以     2. 安装 kafa 以及ksql   git clone git@github.com:confluentinc/ksql.git cd ksql/docs/quickstart/ docker-compose up -d   3. 启动使用   docker-compose exec ksql-…

安装之前先看下图 Kafka基础架构及术语  Kafka基本组成 Kafka cluster: Kafka消息队列(存储消息的队列组件) Zookeeper: 注册中心(kafka集群依赖zookeeper来保存集群的的元信息,来保证系统的可用性) Producer: 提供者(往队列放数据的程序或代码) Consumer: 消费者(从队列取数据的程序或代码) Kafka cluster 组成: Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个…

docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆 账户 admin admin 登陆完成选择模型界面 简单pipeline 数据源选择&&操作界面 一个参考的iot 架构 参考资料 https://streamsets.com/opensource/        …

预备环境(docker 安装模式,使用的免费版本): docker-ce (启用镜像加速) 1. 镜像拉取 docker.bintray.io/jfrog/artifactory-oss 2. 启动 docker run -d -p 8081:8081 docker.bintray.io/jfrog/artifactory-oss 3.  界面       4. 总结 免费版本功能还是不错的,只是部分npm bower 的功能待发现(免费版本是否支持),还有就是进行jenkins 的集成, 目前…

备注:    预备环境docker  xmpp client   1. 启动mongooseim docker run -d -t -h mongooseim-1 --name mongooseim-1 -p 5222:5222 mongooseim/mongooseim:latest 2. 添加测试账户 docker exec -i -t mongooseim-1 /usr/lib/mongooseim/bin/mongooseimctl register $USER $XMPP_HOST $…

1. 镜像 docker pull orientdb 2. 启动 docker run -d --name orientdb -p 2424:2424 -p 2480:2480 -e ORIENTDB_ROOT_PASSWORD=dalong orientdb 3. 基本使用   a. 创建库并登录     b. 创建vertx  c. 添加属性&&数据   d. 查询   4. 参考资料 http://orientdb.com/getting-started/ https://hub.d…

1.下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka在命令中运行docker images验证两个镜像已经安装完毕 2.启动启动zookeeper容器docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 启动kafk…

参考之前的文章安装zookeeper集群  https://www.cnblogs.com/xiaohanlin/p/10124674.html 如果是测试环境也可以简单安装单节点的zookeeper  具体如下 docker pull docker.io/wurstmeister/zookeeper 启动zookeeper容器 docker pull docker.io/wurstmeister/zookeeperdocker run -d --name zookeeper -p 2181:2…

文本摘自此文章 .kafka需要zookeeper管理,所以需要先安装zookeeper. 下载zookeeper镜像 $ docker pull wurstmeister/zookeeper .启动镜像生成容器 ## docker run -d --name zookeeper -p : -v /etc/localtime:/etc/localtime wurstmeister/zookeeper $ docker run -d --restart=always --log-driver js…

docker安装kafka快速入门 1.安装zookeeper docker search zookeeperdocker pull zookeeperdocker run -d -v /home/soft/zookeeperhost/zookeeperDataDir:/data -v /home/soft/zookeeperhost/zookeeperDataLogDir:/datalog --name zookeeper -p 2181:2181 zookeeper 2.安装kafka do…

RabbitMq安装(dokcer) 下载镜像 docker pull rabbitmq 创建并启动容器 docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 -v `pwd`/data:/var/lib/rabbitmq --hostname myRabbit -e RABBITMQ_DEFAULT_VHOST=my_vhost -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_P…

ELK是什么 ELK是elastic公司提供的一套完整的日志收集以及前端展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch.Logstash和Kibana. 其中Logstash负责对日志进行处理,如日志的过滤.日志的格式化等:ElasticSearch具有强大的文本搜索能力,因此作为日志的存储容器:而Kibana负责前端的展示. ELK搭建架构如下图: 加入了filebeat用于从不同的客户端收集日志,然后传递到Logstash统一处理. ELK的搭建 因为ELK是三个产…

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash 是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储以后使用 kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总.分析和搜索重要数据日志. 什么是filebeat?Filebeat是一个轻量级的托运人,…

@ 目录 一.前言 二.RabbitMQ作用 1. 异步处理 2. 应用解耦 3. 流量控制 三.RabbitMQ概念 1. RabbitMQ简介 2. 核心概念 四.JMS与AMQP比较 五.RabbitMQ运行机制 1. direct 2. fanout 3. topic 六.Docker安装RabbitMQ 七.整合Springboot 1. 引入依赖 2. 主启动类上添加注解 3. 编写配置文件 八.测试创建交换机.队列.绑定关系 1. 测试创建Direct交换机 2. 打开交换机界面查…

目录 1. MinIO介绍 2. MinIO应用场景 2.1 单主机单硬盘模式 2.2 单主机多硬盘模式 2.3 多主机多硬盘分布式 3. MinIO特点 4. 存储机制 5. docker安装MinIO 6. docker-compose安装MinIO 7. MinIO Console使用 8. 客户端使用 8.1 常用命令 8.2 安装及配置 8.3 常用操作 9. 兼容AWS S3 10. 利用Java客户端调用MinIO 10.1 引入依赖 10.2 添加配置文件 10.3 编写java…

kafka集群安装 使用的版本 系统:centos6.5 centos6.7 jdk:1.7.0_79 zookeeper:3.4.9 kafka:2.10-0.10.1.0 一.环境准备[只列,不具体写] 1.安装jdk 2.更改机器名 3.添加所有机器的host 二.安装步骤 2.1安装zookeeper 下载zookeeper安装包 下载地址 将安装包上传到一台电脑node1上,我放到了 /opt/kafka/下 解压 cd /opt/kafka/ tar -zxvf zookeeper-…

本系列文章将介绍Docker的有关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 (4)Docker 容器的隔离性 - 使用 cgroups 限制容器使用的资源 (5)Docker 网络 1. 安装 1.1 在 Ubuntu 14.04 上安装 Docker 前提要求: 内核版本必须是3.10或者以上 依次执行下面的步骤: sudo apt-get update sudo apt…

系统要求:需要一个64位的centos7操作系统和版本3.10或更高版本的Linux内核 开始安装: uname -r   //查看内核版本yum -y update //更新系统更新到最新 #安装dockeryum install docker-engine systemctl enable docker.service //启用该服务systemctl start docker //启动docker 安装完成创建一个镜像到容器里测试下: 运行: docker run --rm hello-w…

一.Docker介绍 1. Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上, 也可以实现虚拟化. 容器时完全使用沙箱机制,互相之间不会有任何接口. 2. 启动非常快,秒级实现. 3. 资源利用率很高,一台机器可以跑上千个docker容器. 4. 更快的交付和部署,一次创建和配置后,可以在任意地方运行. 5. 内核级别的虚拟化,不需要额外的hypevisor支持,会有更高的性能和效率. 6. 易迁移,平台依赖性不…

Docker学习笔记 一.Ubuntu Docker 安装 (1).获取最新版本Docker安装包 lyn@lyn:/data/docker$ sudo wget -qO- https://get.docker.com/ | sh 当要以非root用户可以直接运行docker时,需要执行 sudo usermod -aG docker lyn 命令,然后重新登陆 (2).启动docker 后台服务 lyn@lyn:~$ sudo service docker start 二. Docker 容器…

Docker使用了一种叫AUFS的文件系统,这种文件系统可以让你一层一层地叠加修改你的文件,最底下的文件系统是只读的,如果需要修改文件,AUFS会增加一个可写的层(Layer),这样有很多好处,例如不同的Container可以共享底层的只读文件系统(同一个Kernel),使得你可以跑N多个Container而不至于你的硬盘被挤爆了!这个只读的层就是Image!而如你所看到的,一个可写的层就是Container. 那Image和Container的区别是什么?很简单,他们的区别仅仅是一个是只读的层…

Docker安装 CentOS6上安装Docker # yum -y install epel-release # yum -y install docker-io CentOS7上安装Docker # yum -y install docker 启动Docker # /etc/init.d/docker start 如果启动后无进程,日志中出现: /usr/bin/docker: relocation error: /usr/bin/docker: symbol dm_task_get_inf…

http://www.th7.cn/system/mac/201405/56653.shtml Mac 下 docker安装 以及 处理错误Cannot connect to the Docker daemon. Is 'docker -d' running on this host? 和 dial unix /var/run/docker.sock: no such file or directory 云主机可以选择系统镜像快速创建主机,这比虚拟机更便捷了,我们本地也可以这么做了,因为有了Do…

[最近一直想要学习caffe,但是苦苦纠结于环境安装不上,真的是第一步都迈不出去,还好有docker的存在!下面,对本人如何利用docker安装caffe做以简单叙述,不属于教程,只是记录自己都做了什么,方便以后查看,本人菜鸟一枚,虽然安装上了,但很多细节并不清楚] 为了能够在安装docker时方便一些,毅然决然将window7换为了ubuntu系统! 1. 安装docker (具体参考) sudo apt-get intasll docker.io 2. pull一个caffe的image 直…

一.Ubuntu16.4上Docker安装Gitlab 1.安装docker 参见:https://docs.docker.com/engine/installation/linux/ubuntulinux/ (1)安装ssh sudo apt install vim openssh-client openssh-server (2)安装docker sudo apt-get update sudo apt-get install apt-transport-https ca-certifica…

使用docker安装部署Spark集群来训练CNN(含Python实例) http://blog.csdn.net/cyh_24/article/details/49683221 实验室有4台神服务器,每台有8个tesla-GPU,然而平时做实验都只使用了其中的一个GPU,实在暴遣天物! 于是想用Spark来把这些GPU都利用起来.听闻Docker是部署环境的神器,于是决定使用docker安装部署Spark集群来训练CNN.配置环境虽然简单,纯苦力活,但配过的人都知道,里面有太多坑了. 本文是博…

Docker安装应用程序(Centos6.5_x64) Authoer::jom_ch@2014/7/23 Docker官方网站 http://www.docker.com/ 一,安装EPEL 关于EPEL:https://fedoraproject.org/wiki/EPEL/zh-cn >rpm -ivh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm >rpm --import /etc/pk…

原文:项目管理工具 Redmine 安装试用手记 项目管理工具 Redmine 安装试用手记 分类: Redmine2009-06-01 10:12 996人阅读 评论(1) 收藏 举报 项目管理工具sqliterubyrails数据库 昨晚闲逛ROR社区,无意间Redmine这款开源的项目管理工具映入我的眼帘,听说集合了Trac和BaseCamp的优点,安装下来试用一下,果然界面清新,功能简单但又齐全,相当适合用于小型团队开发,下面是我安装试用手记 :) 1.安装导向(官网)http://ww…

本文是根据docker官方文档翻译,原文:https://docs.docker.com/engine/installation/linux/ubuntulinux/ Docker 支持以下 Ubuntu 系统: Ubuntu Xenial 16.04 (LTS) Ubuntu Wily 15.10 Ubuntu Trusty 14.04 (LTS) Ubuntu Precise 12.04 (LTS) 本页内容指引你安装使用由Docker管理的正式包和管理包. 使用这些安装包能确保你安装 Do…

操作系统为 # cat /etc/redhat-release CentOS Linux release (Core) docker安装 # yum install -y docker docker安装目录: /var/lib/docker docker日志目录: /var/log/messages docker配置文件目录: /etc/sysconfig/docker cat /etc/sysconfig/docker OPTIONS='--selinux-enabled --log-driv…