早在四月份的时候,就已经开了这篇文章.当时是参加数据挖掘的比赛,在计科院大佬的建议下用TensorFlow搞深度学习,而且要在自己的hadoop分布式集群系统下搞. 当时可把我们牛逼坏了,在没有基础的前提下,用一个月的时间搭建自己的大数据平台并运用人工智能框架来解题. 结果可想而知:GG~~~~(只是把hadoop搭建起来了....最后还是老老实实的写爬虫) 当时搭建是用VM虚拟机,等于是在17台机器上运行17个CentOS 7,现在我们用docker来打包环境. 一.技术架构 Docker 1…

在上一章<环境搭建>基础上,本章对各个模块做个测试 Mysql 测试 1.Mysql节点准备 为方便测试,在mysql节点中,增加点数据 进入主节点 docker exec -it hadoop-maste /bin/bash 进入数据库节点 ssh hadoop-mysql 创建数据库 create database zeppelin_test; 创建数据表 create table user_info(id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,n…

一.概述 Minio 是一个基于Go语言的对象存储服务.它实现了大部分亚马逊S3云存储服务接口,可以看做是是S3的开源版本,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等.区别于分布式存储系统,minio的特色在于简单.轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题. 存储架构 Minio针对不同应用场景也设置了对应的存储架构: 1.单主机,单硬盘模式 该模式下,Minio只在一…

一 环境准备 1.1 基础环境 ntp配置:略 #建议配置ntp服务,保证时间一致性 etcd版本:v3.3.9 防火墙及SELinux:关闭防火墙和SELinux 名称 地址 主机名 备注 etcd1 172.24.8.71 etcd1.example.com 用于保存相关IP信息 docker01 172.24.8.72 docker01.example.com   docker02 172.24.8.73 docker02.example.com   # hostnamectl set-h…

一.软件准备 1.基础docker镜像:ubuntu,目前最新的版本是18 2.需准备的环境软件包: (1) spark-2.3.0-bin-hadoop2.7.tgz (2) hadoop-2.7.3.tar.gz (3) apache-hive-2.3.2-bin.tar.gz (4) jdk-8u101-linux-x64.tar.gz (5) mysql-5.5.45-linux2.6-x86_64.tar.gz.mysql-connector-java-5.1.37-bin.jar (…

https://blog.csdn.net/xielinrui123/article/details/85104446 首先在docker中下载使用 docker pull redis:3.0.7docker pull ruby12分别下载redis的3.0.7版本和ruby.之所以用3.0.7版本的redis是因为ruby的redis插件没有最新版本的,如果安装最新版本的redis会导致redis.x.x.x.gem和redis版本不一致而产生问题.所以将就选择3.0.7吧.你可以去gem的官…

一.docker安装(略) 二.下载redis安装包(redis-4.0.8.tar.gz) 以任何方式获取都可以.自行官网下载. 三.拉取centos7的docker镜像 命令:docker pull centos:7 这种基于操作系统的安装也适合虚拟机.真机等环境,而且之前查询资料也都是这种情况开始,没有看到直接跳过这步的样例. 四.创建docker网络 由于集群环境要求有明确的ip配置,需要提供固定ip,所以这里创建容器时指定ip,这就要求有可用的网络信息. docker network…

转自:http://www.redicecn.com/html/Python/20111223/355.html Python发挥不了多核处理器的性能(据说是受限于GIL,被锁住只能用一个CPU核心,关于这个,这里有篇文章),但是可以通过Python的multiprocessing(多进程)模块或者并行运算模块(例如,pprocess)来使用到多核. 测试代码如下,程序先后分别测试了串行运算.并行运算以及多线程和多进程执行同一个函数所花费的时间. #! /usr/local/bin/python…

一.简介 XXL-JOB是一个轻量级分布式任务调度平台,其核心设计目标是开发迅速.学习简单.轻量级.易扩展.现已开放源代码并接入多家公司线上产品线,开箱即用. 更多介绍,请访问官网: http://www.xuxueli.com/xxl-job/#/ 接下来,本文将详细介绍,如何安装XXL-JOB 本文所使用的操作系统为: ubuntu-16.04.5-server-amd64 二.安装MySQL(docker) 安装方式 xxl-job 依赖 mysql,所以必须要安装mysql才行!安装my…

本文基于Docker搭建一套单节点的Kafka消息队列,Kafka依赖Zookeeper为其管理集群信息,虽然本例不涉及集群,但是该有的组件都还是会有,典型的kafka分布式架构如下图所示.本例搭建的示例包含Zookeeper + Kafka + Kafka-manger #获取镜像 ·         zookeeper镜像:zookeeper:3.4.9 ·         kafka镜像:wurstmeister/kafka:0.10.2.0 ·         kafka-manager…