package download; import org.json.JSONArray; import java.io.*; import java.net.URL; import java.net.URLConnection; import java.nio.Buffer; import java.text.SimpleDateFormat; import java.util.*; import org.json.JSONObject; public class Downloader { pu…

前面,我们已经在ubuntu服务器上部署好了tpot,并启动进行数据捕获 可以通过64297端口登陆到kibana可视化平台查看捕获到攻击的情况. 现在要拉取攻击数据了,但是该怎么拉呢? 看了一上午的文档,发现文档中并没有提到如何从elastic search中拉取数据:https://dtag-dev-sec.github.io/mediator/feature/2016/10/31/t-pot-16.10.html 1.首先是从哪拉 于是只能自己探索了,考虑了两个方案: 方案一:kibana…

虽然知道了本地的数据接口位置,但是我们需要的是从远程拉取数据,所以我们需要更改es的ip端口为0.0.0.0:xxxx. 直接修改下图的elasticsearch.yml配置文件,结果发现无效. 这是因为es部署在docker中,直接修改配置文件没有用,需要进行docker端口映射. 使用docker ps命令查看目前的docker端口映射情况: 可以发现elastic search进程从docker中的9200端口映射到了主机的127.0.0.1:64298端口 查看一下: 确实是这样的. 接…

最近自己做一个web app需要用到上拉查询下页数据,网上看了很多很多帖子,发现并不能快速的套用,总是会出现各种问题无法使用,于是无奈自己跑去看了官方api文档,终于做了出来,至此做个笔记,以后用到可以直接复制粘贴套用,好了不废话了,进入正题. 1.需要引用 mescroll.min.css , mescroll.min.js 这两个文件可以去http://www.mescroll.com/load.html下载, 也可以选择引用cdn: // jsdelivr的CDN: <link rel=&qu…

一:项目背景 1.1:cognos的两种建模工具 为了更好的满足客户的需求,提升报表展现的效率,一种建模工具已经不能满足报表开发和展现的需要.Cognos除了给我们提供了一种基于关系型数据库的建模工具Framework之外,还为我们提供了另外一种基于立方体数据的建模工具Transform.这种工具可以生产cube立方体,用户可以直接从立方体读取数据. 1.2:利用Javaproject来维护cube安全的必要性 有数据就要有安全,通常给cube设置安全就是通过在cube下面创建custom vi…

前言 在上手使用前,需要先了解一些基本的概念. 推荐 可以到 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 阅读<Elastic Search 权威指南>,有非常详细和全面的说明. ES中的一些概念 index(索引) 相当于mysql中的数据库 type(类型) 相当于mysql中的一张表 document(文档) 相当于mysql中的一行(一条记录) field(域) 相当于mysql中的一列(…

开篇废话 没错,前面扯了一堆SQL SERVER,其实我连Elastic Search根本没动手玩过(是不是与时代有点脱节了?),那今天我就准备尝试安装一个ELK的简单集群出来(这个集群是使用我的小米笔记本创建了两个虚拟机,虚拟出来的一个集群,没钱买阿里云) 虚拟机的操作系统实CentOS 7 64位,不同的Linux版本可能略有差异~ 直接安装Elastic Search 安装Master Node 本文也是参考官网文档进行安装,大家可以直接看官网文档,一般来说,比较新一些. 官方文档:htt…

Technorati 标签: elastic search,query,commands 基本查询:最简单的查询方式 query:{"term":{"title":"crime"}} terms:目标列包含指定词 match:会把输入的"短语"进行分解成词 bool match:match分解成多个词,并且是and的关系,默认是or的关系 match phrase:分词,但是要指定分词之间词语的个数 match phrase…

Elastic search在数据分析的应用中相当于一个数据库的搜索引擎. 跟MySQL类似,它有自己的查询语言,只不过不是关系型数据库,属于NoSQL. 可以根据索引从分布式服务器文件系统中快速存取数据.mysql的数据库和表存放在某台服务器上,使用的时候连接到服务器对数据库进行操作,数据使用unicode编码的mysql raw data格式:而elasticsearch通过http使用json数据进行数据索引.…

携程酒店订单Elastic Search实战:http://www.lvesu.com/blog/main/cms-610.html 为什么分库分表后不建议跨分片查询:https://www.jianshu.com/p/1a0c6eda6f63 分库分表技术演进(阿里怎么分):https://mp.weixin.qq.com/s/3ZxGq9ZpgdjQFeD2BIJ1MA 1.需求背景 移动互联网时代,海量的用户每天产生海量的数量,这些海量数据远不是一张表能Hold住的.比如 用户表:支付宝8…