单项选择题 1. 下面哪个程序负责 HDFS 数据存储. a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动? a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 a

redis cluster集群web管理工具 relumin 下载地址 https://github.com/be-hase/relumin 只支持redis cluster模式 java环境 tar -zxvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171 /usr/local/java #添加环境变量 sudo vi /etc/profile #最后添加如下内容 export JAVA_HOME=/usr/local/java export JRE_H

之前团队的nginx管理,都是运维同学每次去修改配置文件,然后重启,非常不方便,一直想找一个可以方便管理nginx集群的工具,翻遍web,未寻到可用之物,于是自己设计开发了一个. 效果预览 集群group管理界面 可以管理group的节点,配置文件,修改后可以一键重启所有节点,且配置文件出错时会提示错误,不会影响线上服务. 2.集群Node节点管理 3 .集群Node节点日志查看 生成的配置文件预览 vhost管理 设计思路 数据结构: 一个nginxGroup,拥有多个NginxNode,共享

cerebo是kopf在es5上的替代者 安装es虽然不能再root下运行,但是cerebro 可以 run as root is ok wget https://github.com/lmenezes/cerebro/releases/download/v0.8.1/cerebro-0.8.1.tgz tar zxvf cerebro-0.8.1.tgz cd cerebro-0.8.1 bin/cerebro #具体新版本查看https://github.com/lmenezes/cereb

Manage nodes in a swarm在集群中管理节点 List nodes列举节点 为了查看集群中的节点列表,可以在管理节点中运行docker node ls: $ docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS 46aqrk4e473hjbt745z53cr3t node- Ready Active Reachable 61pi3d91s0w3b90ijw3deeb2q node- Ready Active

mtools 是由MongoDB 官方工程师实现的一套工具集,可以很快速的日志查询分析.统计功能,此外还支持本地集群部署管理 https://www.cnblogs.com/littleatp/p/9114471.html mtools-你可能没用过的mongodb神器 前言 接触 mongodb 已经有一段时间了,从一开始的不了解,到现在已慢慢适应这个nosql领域的佼佼者,还是经历了不少波折. 在进行数据库选型的时候,许多人总是喜欢拿 mongodb和mysql.oracle做比较,并总结出

前言 搭建好我们的容器编排集群,那我们总不能日常的时候也在命令行进行操作,所以我们需要使用到一些可视化的工具,Docker图形化管理提供了很多工具,有Portainer.Docker UI.Shipyard等等,本文主要介绍Portainer. Portainer是一个开源.轻量级Docker管理用户界面,基于Docker API,提供状态显示面板.应用模板快速部署.容器镜像网络数据卷的基本操作(包括上传下载镜像,创建容器等操作).事件日志显示.容器控制台操作. Swarm集群和服务等集中管理和

Redis的高可用方案的实现:主从切换以及虚拟IP或客户端 从Redis 2.8开始加入对Sentinel机制从而实现了服务器端的主从切换,但目前尚未发现实现虚拟IP或客户端切换方案 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案 当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换, 而Redis-sentinel本身也是一个独立运行的进程,它能监控多个master-slave

由于需要安装hadoop集群,有10台机器需要安装,一开始打算用SCP复制,后来觉得不可接受(实际现场可能数倍的机器集群,就是10台也不想干).后来在网上找了,发现了clustershell和pssh这两个工具.这两个工具随便用其中一个就可以了. 环境说明:centos6.5机器10台 需求:确定一个主机A,通过在A上执行命令即可同步在其他节点上执行. 前提:首先配置好A对各个机器的密码SSH登陆. pssh参考网址:http://www.linuxidc.com/Linux/2011-12/4

由于需要安装hadoop集群,有10台机器需要安装,一开始打算用SCP复制,后来觉得不可接受(实际现场可能数倍的机器集群,就是10台也不想干).后来在网上找了,发现了clustershell和pssh这两个工具.这两个工具随便用其中一个就可以了. 环境说明:centos6.5机器10台 需求:确定一个主机A,通过在A上执行命令即可同步在其他节点上执行. 前提:首先配置好A对各个机器的密码SSH登陆. pssh参考网址:http://www.linuxidc.com/Linux/2011-12/4

实验室有一个Linux集群,本文做一下记录. SSH相关命令 通过SSH登录集群中的其他机器上的操作系统(或虚拟机中的操作系统).操作系统之间已经设置免密码登录. 1. 无选项参数运行 SSH 通常使用 SSH 的方式就是不加任何选项参数,仅仅输入 "ssh".下面是示例: $ ssh 192.168.0.103 注意这样是在 ssh 进程端口号22, 目标主机用户和当前用户同名的情况下. 2. 指定登陆用户 默认的,ssh 会尝试用当前用户作为用户名来连接.在上面的示例命令中,ssh

环境 host1 10.1.99.13 host2 10.1.99.14 host3 10.1.99.15 host4 10.1.99.12(用于测试添加删除节点) 初始化集群 host1 $ docker run --restart always -d -v /usr/share/ca-certificates/:/etc/ssl/certs -p 4001:4001 -p 2380:2380 -p 2379:2379 \ --name etcd quay.io/coreos/etcd \ e

转自:http://book.51cto.com/art/201405/439557.htm 先来看一下什么是Session. 用户使用网站的服务,基本上需要浏览器与Web 服务器的多次交互.HTTP 协议本身是无状态的,需要基于HTTP 协议支持会话状态(Session State)的机制.而这样的机制应该可以使Web 服务器从多次单独的HTTP 请求中看到"会话",也就是知道哪些请求是来自哪个会话的.具体实现方式为:在会话开始时,分配一个唯一的会话标识(SessionId),通过C

Kubernetes 开发了一个 Elasticsearch 附加组件来实现集群的日志管理.这是一个 Elasticsearch.Fluentd 和 Kibana 的组合.Elasticsearch 是一个搜索引擎,负责存储日志并提供查询接口:Fluentd 负责从 Kubernetes 搜集日志并发送给 Elasticsearch:Kibana 提供了一个 Web GUI,用户可以浏览和搜索存储在 Elasticsearch 中的日志. 部署 Elasticsearch 附加组件本身会作为 K

一.ELK搜索引擎原理介绍 在使用搜索引擎是你可能会觉得很简单方便,只需要在搜索栏输入想要的关键字就能显示出想要的结果.但在这简单的操作背后是搜索引擎复杂的逻辑和许多组件协同工作的结果. 搜索引擎的组件一般可分为两大类:索引组件和搜索组件.在搜索之前搜索引擎必须把可搜索的所有数据做整合处理并构建索引(倒排索引),将所有数据构建成能被搜索的格式并存储起来,这就成为索引组件:能根据用户搜索并能从索引组件构建的索引中查询出用户想要的结果的组件称为搜索组件. ElasticSearch就属于搜索组件的一

通过codis3.2实现redis3.2.8集群 一:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表https://github.com/CodisLabs/codis/blob/release3.1/doc/unsupported_cmds.md), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所

集群部署及节点管理 使用swarm前提: Docker版本1.12+ 集群节点之间保证TCP 2377.TCP/UDP 7946和UDP 4789端口通信 节点规划: 操作系统:centos7.4.1708 管理节点:192.168.3.245  node1 工作节点:192.168.3.244 工作节点:192.168.3.246 管理节点初始化swarm: docker swarm init --advertise-addr 192.168.3.245 工作节点加入swarm: docker

工具的作用: 1)比"cluster nodes"更为直观的显示结果 2)指出落在同一个IP上的master 3)指出落在同一个IP上的master和slave对 运行效果图: 源代码(可从https://github.com/eyjian/redis-tools下载): #!/bin/bash # 源码位置:https://github.com/eyjian/redis-tools # # Redis集群部署注意事项: # 在一个物理IP上部署多个redis实例时,要避免: # 1)

网上资料汇总: 关于 tomcat 集群中 session 共享的三种方法 Tomcat7集群共享Session 基于redis进行统一管理

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务. Codis 由四部分组成: Codis Proxy (codis-proxy) Cod

简介 通过 Erlang 的分布式特性(通过 magic cookie 认证节点)进行 RabbitMQ 集群,各 RabbitMQ 服务为对等节点,即每个节点都提供服务给客户端连接,进行消息发送与接收.这些节点通过 RabbitMQ HA 队列(镜像队列)进行消息队列结构复制.本方案中搭建 3 个节点,并且都是磁盘节点(所有节点状态保持一致,节点完全对等),只要有任何一个节点能够工作,RabbitMQ 集群对外就能提供服务. 1. 安装erlang,参考:http://fedoraprojec