使用Python对ElasticSearch获取数据及操作
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@Time : 2018/7/4
@Author : LiuXueWen
@Site :
@File : ElasticSearchOperation.py
@Software: PyCharm
@Description: 对elasticsearch数据的操作,包括获取数据,发送数据
"""
import elasticsearch
import json
import Util_Ini_Operation
class elasticsearch_data():
def __init__(self,hosts,username,password,maxsize,is_ssl):
# 初始化ini操作脚本,获取配置文件
try:
# 判断请求方式是否ssl加密
if is_ssl == "true":
# 获取证书地址
cert_pem = Util_Ini_Operation.get_ini("config.ini").get_key_value("certs","certs")
es_ssl = elasticsearch.Elasticsearch(
# 地址
hosts=hosts,
# 用户名密码
http_auth=(username,password),
# 开启ssl
use_ssl=True,
# 确认有加密证书
verify_certs=True,
# 对应的加密证书地址
client_cert=cert_pem
)
self.es = es_ssl
elif is_ssl == "false":
# 创建普通类型的ES客户端
es_ordinary = elasticsearch.Elasticsearch(hosts, http_auth=(username, password), maxsize=int(maxsize))
self.es = es_ordinary
except Exception as e:
print(e)
def query_data(self,keywords_list,date):
gte = "now-"+str(date)
query_data = {
# 查询语句
"query": {
"bool": {
"must": [
{
"query_string": {
"query": keywords_list,
"analyze_wildcard": True
}
},
{
"range": {
"@timestamp": {
"gte": gte,
"lte": "now",
"format": "epoch_millis"
}
}
}
],
"must_not": []
}
}
}
return query_data
# 从es获取数据
def get_datas_by_query(self,index_name,keywords,param,date):
'''
:param index_name: 索引名称
:param keywords: 关键字词,数组
:param param: 需要数据条件,例如_source
:param date: 过去时间范围,字符串格式,例如过去30分钟内数据,"30m"
:return: all_datas 返回查询到的所有数据(已经过param过滤)
'''
all_datas = []
# 遍历所有的查询条件
for keywords_list in keywords:
# DSL语句
query_data = self.query_data(keywords_list,date)
res = self.es.search(
index=index_name,
body=query_data
)
for hit in res['hits']['hits']:
# 获取指定的内容
response = hit[param]
# 添加所有数据到数据集中
all_datas.append(response)
# 返回所有数据内容
return all_datas
# 当索引不存在创建索引
def create_index(self,index_name):
'''
:param index_name: 索引名称
:return:如果创建成功返回创建结果信息,试过已经存在创建新的index失败返回index的名称
'''
# 获取索引的映射
# index_mapping = IndexMapping.index_mapping
# # 判断索引是否存在
# if self.es.indices.exists(index=index_name) is not True:
# # 创建索引
# res = self.es.indices.create(index=index_name,body=index_mapping)
# # 返回结果
# return res
# else:
# # 返回索引名称
# return index_name
pass
# 插入指定的单条数据内容
def insert_single_data(self,index_name,doc_type,data):
'''
:param index_name: 索引名称
:param doc_type: 文档类型
:param data: 需要插入的数据内容
:return: 执行结果
'''
res = self.es.index(index=index_name,doc_type=doc_type,body=data)
return res
# 向ES中新增数据,批量插入
def insert_datas(self,index_name):
'''
:desc 通过读取指定的文件内容获取需要插入的数据集
:param index_name: 索引名称
:return: 插入成功的数据条数
'''
insert_datas = []
# 判断插入数据的索引是否存在
self.createIndex(index_name=index_name)
# 获取插入数据的文件地址
data_file_path = self.ini.get_key_value("datafile","datafilepath")
# 获取需要插入的数据集
with open(data_file_path,"r+") as data_file:
# 获取文件所有数据
data_lines = data_file.readlines()
for data_line in data_lines:
# string to json
data_line = json.loads(data_line)
insert_datas.append(data_line)
# 批量处理
res = self.es.bulk(index=index_name,body=insert_datas,raise_on_error=True)
return res
# 从ES中在指定的索引中删除指定数据(根据id判断)
def delete_data_by_id(self,index_name,doc_type,id):
'''
:param index_name: 索引名称
:param index_type: 文档类型
:param id: 唯一标识id
:return: 删除结果信息
'''
res = self.es.delete(index=index_name,doc_type=doc_type,id=id)
return res
# 根据条件删除数据
def delete_data_by_query(self,index_name,doc_type,param,gt_time,lt_time):
'''
:param index_name:索引名称,为空查询所有索引
:param doc_type:文档类型,为空查询所有文档类型
:param param:过滤条件值
:param gt_time:时间范围,大于该时间
:param lt_time:时间范围,小于该时间
:return:执行条件删除后的结果信息
'''
# DSL语句
query_data = {
# 查询语句
"query": {
"bool": {
"must": [
{
"query_string": {
"query": param,
"analyze_wildcard": True
}
},
{
"range": {
"@timestamp": {
"gte": gt_time,
"lte": lt_time,
"format": "epoch_millis"
}
}
}
],
"must_not": []
}
}
}
res = self.es.delete_by_query(index=index_name,doc_type=doc_type,body=query_data,_source=True)
return res
# 指定index中删除指定时间段内的全部数据
def delete_all_datas(self,index_name,doc_type,gt_time,lt_time):
'''
:param index_name:索引名称,为空查询所有索引
:param doc_type:文档类型,为空查询所有文档类型
:param gt_time:时间范围,大于该时间
:param lt_time:时间范围,小于该时间
:return:执行条件删除后的结果信息
'''
# DSL语句
query_data = {
# 查询语句
"query": {
"bool": {
"must": [
{
"match_all": {}
},
{
"range": {
"@timestamp": {
"gte": gt_time,
"lte": lt_time,
"format": "epoch_millis"
}
}
}
],
"must_not": []
}
}
}
res = self.es.delete_by_query(index=index_name, doc_type=doc_type, body=query_data, _source=True)
return res
# 修改ES中指定的数据
def update_data_by_id(self,index_name,doc_type,id,data):
'''
:param index_name: 索引名称
:param doc_type: 文档类型,为空表示所有类型
:param id: 文档唯一标识编号
:param data: 更新的数据
:return: 更新结果信息
'''
res = self.es.update(index=index_name,doc_type=doc_type,id=id,body=data)
return res
使用Python对ElasticSearch获取数据及操作的更多相关文章
- DataReader方式 获取数据的操作
一.使用DataReader读取为对象List /// <summary> /// 获得数据列表List<>,DataReader 使用参数的 /// </summary ...
- python连接 elasticsearch 查询数据,支持分页
使用python连接es并执行最基本的查询 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:92 ...
- Python开发实战教程(8)-向网页提交获取数据
来这里找志同道合的小伙伴!↑↑↑ Python应用现在如火如荼,应用范围很广.因其效率高开发迅速的优势,快速进入编程语言排行榜前几名.本系列文章致力于可以全面系统的介绍Python语言开发知识和相关知 ...
- echarts通过ajax动态获取数据的方法
echarts表格的数据一般都需要动态获取,所以总结了一下通过ajax动态获取数据的操作: 插入的方法应该不止一种,我也是接触不久,所以刚学会了一种插入方法: 灵感和经验来自:https://www. ...
- python数据库操作常用功能使用详解(创建表/插入数据/获取数据)
实例1.取得MYSQL版本 复制代码 代码如下: # -*- coding: UTF-8 -*-#安装MYSQL DB for pythonimport MySQLdb as mdbcon = Non ...
- python实现elasticsearch操作-CRUD API
python操作elasticsearch常用API 目录 目录 python操作elasticsearch常用API1.基础2.常见增删改操作创建更新删除3.查询操作查询拓展类实现es的CRUD操作 ...
- Python Socket请求网站获取数据
Python Socket请求网站获取数据 ---阻塞 I/O ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,. ...
- Python+selenium之获取文本值和下拉框选择数据
Python+selenium之获取文本值和下拉框选择数据 一.结合实例进行描述 1. 实例如下所示: #新增标签操作 def func_labels(self): self.driver.find_ ...
- 孤荷凌寒自学python第四十九天继续研究跨不同类型数据库的通用数据表操作函数
孤荷凌寒自学python第四十九天继续研究跨不同类型数据库的通用数据表操作函数 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天继续建构自感觉用起来顺手些的自定义模块和类的代码. 不同类型 ...
随机推荐
- POJ2001Shortest Prefixes(Trie树)
传送门 题目大意:求最短唯一前缀 题解:Trie树 把单词一个个插入,每个字母节点v[]++;然后输出时输出到v[]为1的点, v[]=1说明只有这个单词经过. 代码 : #include<io ...
- Codeforces Round #602 (Div. 2, based on Technocup 2020 Elimination Round 3) D2. Optimal Subsequences (Hard Version) 数据结构 贪心
D2. Optimal Subsequences (Hard Version) This is the harder version of the problem. In this version, ...
- Python程序中的进程操作-进程间通信(multiprocess.Queue)
目录 一.进程间通信 二.队列 2.1 概念介绍--multiprocess.Queue 2.1.1 方法介绍 2.1.2 其他方法(了解) 三.代码实例--multiprocess.Queue 3. ...
- [java 基础]反射入门
原文 概况 使用java的反射,可以让我们检查(或者修改)类,接口,字段,方法的特性.当你在编译期不知道他们的名字的时候非常有用. 除此之外,可以使用反射来创建实例,调用方法或者get/set 字段值 ...
- Flink on YARN时,如何确定TaskManager数
转自: https://www.jianshu.com/p/5b670d524fa5 答案写在最前面:Job的最大并行度除以每个TaskManager分配的任务槽数. 问题 在Flink 1.5 Re ...
- tensorflow slim代码使用
此处纯粹作为个人学习使用,原文连接:https://www.jianshu.com/p/dc24e54aec81 这篇文章是借鉴很多博文的,作为一个关于slim库的总结 导入slim模块 import ...
- `protected` vs `private`
private 标识为 private 的属性为私有属性,不能在除自己外的地方进行访问. protected 标识为 protected 的属性为受保护的属性,与私有属性类似,但还可以在继承类中进行访 ...
- IIS 上部署 ASP.NET Core 应用程序
1.下载 .Net Core Runtime 和 Hosting Bundle 下载地址:https://dotnet.microsoft.com/download/dotnet-core 分别下载 ...
- 这篇文章带你彻底理解synchronized
本人免费整理了Java高级资料,涵盖了Java.Redis.MongoDB.MySQL.Zookeeper.Spring Cloud.Dubbo高并发分布式等教程,一共30G,需要自己领取.传送门:h ...
- Thinkphp带表情的评论回复实例
基于Thinkphp开发的一个简单的带表情的评论回复实例,可以无限回复,适合新手学习或作为毕业设计作品等. 评论提交验证 $(".submit-btn").click(functi ...