crate: 下载: https://crate.io/download/thank-you/?download=tar crash: 下载: https://crate.io/docs/clients/crash/en/latest/getting-started.html https://crate.io/docs/crate/reference/en/latest/admin/user-management.html#create-user 卸载: yum list installed y

zookeeper一般使用命令工具启动,启动主要就是初始化所有组件,让server可以接收并处理来自client的请求.本文主要结构: main入口 配置解析 组件启动 main入口 我们一般使用命令行工具来部署zk server,zkServer.sh,这个脚本用来启动停止server,通过不同的参数和选项来达到不同的功能.该脚本最后会通过Java执行下面的main方法 org.apache.zookeeper.server.quorum.QuorumPeerMain#main 不管单机还是集

spark是个啥? Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发. Spark和Hadoop有什么不同呢? Spark是基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法.   Spark的适用场景 Spark是基于内存的迭代计算框架,适用于需

zookeeper简介 zookeeper是为分布式应用提供分布式协作服务的开源软件.它提供了一组简单的原子操作,分布式应用可以基于这些原子操作来实现更高层次的同步服务,配置维护,组管理和命名.zookeeper的设计使基于它的编程非常容易,若我们熟悉目录树结构的文件系统,也会很容易使用zookeeper的数据模型样式.它运行在java上,有java和c的客户端. 协作服务因难于获取正确而臭名远扬,他们特别易于出错如竞争条件和死锁.zookeeper的动机是减轻分布式应用中从零开始实现协作服务的

elasticsearch的功能,主要用在搜索领域,这里,我来研究这个,也是项目需要,为公司开发了一款CMS系统,网站上的搜索栏功能,我打算采用elasticsearch来实现. elasticsearch的高性能,低延时是最大的吸引力. 系统环境: Centos6.8, X86_64. Elasticsearch的版本: 2.3.5,下载地址来自官网,选择的是RPM包. es安装完毕后,默认安装的路径是/usr/share/elasticsearch, 配置文件,默认是在/etc/elasti

上一篇介绍了zookeeper的单机启动,集群模式下启动和单机启动有相似的地方,但是也有各自的特点.集群模式的配置方式和单机模式也是不一样的,这一篇主要包含以下内容: 概念介绍:角色,服务器状态 服务器组件启动 leader选举 概念介绍:角色,服务器状态 集群模式会有多台server,每台server根据不同的角色会有不同的状态,server状态的定义如下 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } L

第一步,下载es6 +head wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.zip wget https://github.com/mobz/elasticsearch-head/archive/master.zip 顺便安装一下node.js环境 wget  https://npm.taobao.org/mirrors/node/v10.8.0/node-v10.8.0-linux-

1. CentOS 下安装 MySQL Oracle 收购 MySQL 后,CentOS 为避免 MySQL 闭源的风险,改用 MySQL 的分支 MariaDB:MariaDB 完全兼容 MySQL,包括API和命令行,但还是有些地方不一样(比如命令行提示符):要想使用传统的官方版本 MySQL Community,需要手工下载并安装. 1.1 安装与启动 1.1.1 自动方法,国内下载慢(90min) 1 2 3 4 5 ## https://dev.mysql.com/downloads/

这种运行模式,和Local[N]很像,不同的是,它会在单机启动多个进程来模拟集群下的分布式场景,而不像Local[N]这种多个线程只能在一个进程下委屈求全的共享资源.通常也是用来验证开发出来的应用程序逻辑上有没有问题,或者想使用Spark的计算框架而没有太多资源. 用法是:提交应用程序时使用local-cluster[x,y,z]参数:x代表要生成的executor数,y和z分别代表每个executor所拥有的core和memory数. 上面这条命令代表会使用2个executor进程,每个进程分

主从,只需要在master节点启动 hadoop hbase 单机启动 hive 其他,需要启动每个节点 zookeeper kafka flume presto

Zookeeper是开源的,如果想多了解Zookeeper或看它的源码,最好是能找到它的源码并在 IDE 里启动,可以debug看它咋执行的,能够帮助你理解其原理. 准备源码 所以我们很容易搞到它的源码,例如我们从GitHub上获取源码 或 从Apache官网获取可运行版本的压缩包(内含源码).这里我下载的是3.4.13版本的,从GitHub拉取源码在idea运行时,编译不能通过,缺少类,原因是有些类需要data包下的类,但是没有这个data包,所以编译过不了,也就无法测试.   所以选择第二种

cratedb 提供了pg协议的兼容,我们可以直接使用pg client 连接,但是也不是完整实现pg 协议的 以下是 cube.js 集成cratedb 的一些尝试 环境准备 docker-compose 文件 主要是数据库环境的   version: "3" services: db: image: crate ports: - "5432:5432" - "4200:4200" cube.js pg 项目创建 cubejs create -

redis笔记一 redis笔记二 redis笔记三 1.安装 cd /usr/src #进入下载目录(这个目录自己定) yum install -y wget gcc make tcl #安装依赖 wget http://download.redis.io/releases/redis-.tar.gz #下载源码包 tar -zxvf redis-.tar.gz #解压 cd redis- #进入redis目录 make && make test #编译与测试 make install

Redis安装(单机及各类集群,阿里云) 前言 上周,我朋友突然悄悄咪咪地指着手机上的一篇博客说,这是你的博客吧.我看了一眼,是之前发布的<Rabbit安装(单机及集群,阿里云>.我朋友很哈皮地告诉我,我的博客被某个Java平台进行了微信推送.看到许多人阅读,并认同了我的博客,心理还是很开心的. 好了,话题收回来.这次就Redis在实际服务器中的各种安装,进行详细描述. 另外由于内容较多,并不一定能涵盖各个方面,万望见谅.如果存在什么问题,或者有什么需要添加的,请私信或@我. 最后,由于打马赛

近几年微服务很火,Spring Cloud提供了为服务领域的一整套解决方案.其中Spring Cloud Alibaba是我们SpringCloud的一个子项目,是提供微服务开发的一站式解决方案. 包含微服务开发的必要组件,基于SpringCloud 符合SpringCloud标准,是阿里的微服务的解决方案. 文档:https://github.com/alibaba/spring-cloud-alibaba/blob/master/README-zh.md Nacos的安装与启动 Nacos是

RabbitMQ的使用(二)- RabbitMQ服务在单机中做集群 作者:markjiang7m2 原文地址:https://www.cnblogs.com/markjiang7m2/p/12837151.html 官网地址:http://letyouknow.net 在上一篇RabbitMQ的使用(一)- RabbitMQ服务安装 中总结的是在Windows服务器上安装服务,对于一个高可用部署方案,必须要做集群.我自己在用的就是一台Windows系统机器,如果做集群的话,运行几个虚拟机或者跑几

正文 昨天下载了一个18版本的driud打算在虚拟机探究一下,然后按照官网的启动方式启动了,每个失败.官网是/bin/start-micro-quickstart,我们去看他的单机启动配置 http://druid.apache.org/docs/latest/operations/single-server.html 发现micro需要的配置 Micro-Quickstart: 4 CPU, 16GB RAM Launch command: bin/start-micro-quickstart

一.下载nacos的地址: https://github.com/alibaba/nacos/releases 下载 nacos-server-1.3.2.tar.gz    就好 二.在Windows下安装: 解压上面下载的包,直接双击startup.cmd打开: 启动不了.原因是直接启动默认是集群模式. 如果就是要单机启动,打开startup.cmd将  MODE的值设置为standalone就好. 再次双击 startup.cmd 启动正常. 使用http://127.0.0.1:8848

前言 之前的Zookeeper协议篇-Paxos算法与ZAB协议通过了解Paoxs算法开始,到Zab协议的两大特性:崩溃恢复和消息广播,学习了Zookeeper是如何通过Zab协议实现高可用,本篇主要解析Zookeeper的启动流程 单机模式启动流程 我们知道,Zookeeper使用中分为单机和集群两种,而这两种最大的不同则是,集群启动下需要进行Leader选举以及Leader和Follower之间的数据同步操作,而单机启动则不需要此操作,Zookeeper单机启动大概分为三个部分,分别为预处理

nacos单机启动 准备 下载nacos安装包 下载地址 准备centos环境 (本次测试使用docker) PS C:\Users\Administrator> docker run -tid --name centos_nacos -p 8849:8848 --privileged=true centos:latest /sbin/init 如果使用shell工具进行连接,增加 -p22:22 参数 将安装包移动到镜像当中 /opt 目录下 #nacos PS C:\Users\Admini

资源烘焙 虚幻引擎以内部使用的特定格式存储内容资源,将内容从内部格式转换为特定于平台的格式的过程 称为 烘焙((Cooking) 从编辑器烘焙资源 FIle → Cook Content for Windows 从命令行烘焙资源 默认保存 %ProjectDir%/Saved/Cooked/[TargetPlatform]/ 包含引擎资源.项目资源.插件资源 烘焙出的文件类型为 .uasset,.umap,.uexp,.ubulk .uexp 包含该资源对应的UE4版本号.头部大小.包路径等信息