索引服务由三个主要组件:一个是peon 组件,可以运行一个任务,一个是Middle Managers组件,管理peons,和一个overlord 组件管理任务分发给Middle Managers。 overlord  和Middle Managers 可以在一台服务器上,也可以在不同的服务器。而Middle Managers 和peons 一般在同一台服务器中。

Indexing Service 流程图

Overlord 服务

Overlord 节点负责接受任务,协调分配任务,创建任务创建锁,状态返回给调用者。Overlord 可以配置为运行在两种模式之一——本地或远程(本地默认)。在本地模式下Overlord 也负责创建peons 执行任务。当Overlord 在本地模式下运行,所有Middle Managers和peon配置必须提供。本地模式通常用于简单的工作流。在远程模式下,Overlord 和Middle Managers都运行在单独的进程,可以不同的服务器上运行。如果你打算使用单个indexing service作为所有Druid服务的索引,推荐这种模式。

提交任务和查询任务状态

提交任务,任务以json格式提交到overlord,请求方式为POST.返回提交任务的id taskid。

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task

取消任务,请求方式为POST ,发送请求后会kill –9 这个任务。

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task/{taskId}/shutdown

查看任务,请求方式为GET

http://<OVERLORD_IP>:<port>/druid/indexer/v1/task/{taskId}/segments

overlord 控制台

Overlord控制台可用于查看等待任务,运行任务,最近可用的任务,任务的创建和终止

http://<OVERLORD_IP>:<port>/console.html

Middle Managers

http://druid.io/docs/0.6.145/Middlemanager.html

Peons

See Peon.

Tasks

See Tasks.

来自 <http://www.cnblogs.com/hanchanghong/p/3915374.html>

Druid Indexing 服务的更多相关文章

  1. Druid时序数据库升级流程

    目前Druid集群版本为0.11.0,新版本0.12.1已支持Druid SQL和Redis,考虑到Druid新特性以及性能的提升,因此需要将Druid从0.11.0版本升级到0.12.1版本,下面将 ...

  2. druid问题记录

    1 {"error":"Instantiation of [simple type, class io.druid.indexing.kafka.supervisor.K ...

  3. Load 数据1

    Druid 的load 数据分为两类 :批量load(历史数据) 和实时load(新数据) ,本文介绍批量load 数据 indexing 服务 批量load 数据需要用到indexing 服务,它是 ...

  4. druid0.15.0安装方式

    Druid0.15.0安装文档 1 集群规划 Master包含Coordinator和Overlord,4核16G*2: data包含Historical和MiddleManager,16核64G*3 ...

  5. imply套件以及plyql的安装

    本文出自:http://www.cnblogs.com/gaojiang/p/7212149.html 1.安装nodejs,版本需要在4.0以上,安装方法见上篇博客 2.下载imply,地址:htt ...

  6. druid监控每个服务数据库连接数和SQL执行效率

    1.下载druid 2.将刚刚下载的druid放入tomcat下的lib目录 3.配置要监控的服务启动文件,添加: -Dcom.sun.management.jmxremote.port=4090 - ...

  7. 微服务配置中心实战:Spring + MyBatis + Druid + Nacos

    在结合场景谈服务发现和配置中我们讲述了 Nacos 配置中心的三个典型的应用场景,包括如何在 Spring Boot 中使用 Nacos 配置中心将数据库连接信息管控起来,而在“原生”的 Spring ...

  8. 微服务监控druid sql

    参考该文档 保存druid的监控记录 把日志保存的关系数据数据库(mysql,oracle等) 或者nosql数据库(redis,芒果db等) 保存的时候可以增加微服务名称标识好知道是哪个微服务的sq ...

  9. Druid 基础使用-操作篇(Imply )

    一.Imply Druid 原生的配置较麻烦,在上一篇单机版安装中有所涉及   Imply 基于Druid 进行了一些组件的开发,提供开源社区版本和商业版,简化了部署,开发了一些应用.https:// ...

随机推荐

  1. 【Java基础】HashMap工作原理

    HashMap Hash table based implementation of the Map interface. This implementation provides all of th ...

  2. perl 正则表达式之漫游

    废话不多说了,直奔主题~ 一.简单模式进行匹配 将模式写在一对//中即可,匹配对象是$_ 元字符:圆括号()      进行模式分组 点号   .        能匹配任意一个字符,除换行符(\n)以 ...

  3. 《Shell脚本学习指南》学习笔记之变量、判断和流程控制

    变量 定义变量 可以使用export和readonly来设置变量,export用于修改或打印环境变量,readonly则使得变量不得修改.语法: export name[=word] ... read ...

  4. Android--带你一点点封装项目 MVP+BaseActivity+Retrofit+Dagger+RxJava(三)

    1,这一篇博客是和大家一起来封装我们最后的Dagger2,其实之前也写过关于简单的Dagger2,这里是地址,完全没了解的同学可以先去看一下这篇,感谢很多小伙伴一直在耐心的等待这一篇 2,Dagger ...

  5. Git基础教程(二)

    继续上篇Git基础教程(一),在开篇之前,先回顾一下上篇中的基本命令. 配置命令:git config --global * 版本库初始化:git init 向版本库添加文件:git add * 提交 ...

  6. HTML友情链接代码

    <div align="center">     <table width="980" height="35" borde ...

  7. 200行自定义异步非阻塞Web框架

    Python的Web框架中Tornado以异步非阻塞而闻名.本篇将使用200行代码完成一个微型异步非阻塞Web框架:Snow. 一.源码 本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞 ...

  8. 小白该怎么学《马哥Linux从入门到精通》

    首先,必须说明我已经不是小白啦~现在的我在国内某独角兽担任运维工程师,带着一个四人小团队,在运维方面也算是有些心得,勉强过来回答一下这个问题,就算抛砖引玉了. 所有人都是从小白阶段过来的,我=也经历过 ...

  9. PHP随机生成随机个数的字母组合示例

    在很多系统环境下大家都会用到字母组合各种编码,下面推荐大家非常实用的PHP代码. $num由几个字母组合. $s字母包含大小写,可以自己调配大写还小写. <?php function makec ...

  10. Boost库安装(实测vs2012)

    1.下载boost库,我这边下载的是目前最新的:boost_1_63_0.7z 2.解压到本地目录:我这边是:D:\Program Files 3.cmd窗口,以管理员权限打开,执行D:\Progra ...