前言

本文介绍 ElasticSearch 增加、删除、修改数据的使用示例。通过Restful 接口和 Python 实现。ES最新版本中有Delete By Query 和 Update By Query等功能,但是老版本是没有相关功能的,这里需要特别注意下。详细可参考官网资料: 
5.4版本:https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html 
2.4版本:https://www.elastic.co/guide/en/elasticsearch/reference/2.4/docs.html

事先需要安装好ElasticSearch和head插件。可参考:http://blog.csdn.net/xsdxs/article/details/52815270

Restful API 实现

创建索引

 创建索引

curl -XPOST 'localhost:9200/customer?pretty'

插入数据

 单条插入-指定id

curl -XPOST 'localhost:9200/customer/external/1?pretty' -d' {"name": "John Doe" }'

单条插入-不指定id

curl -XPOST 'localhost:9200/customer/external?pretty' -d' {"name": "Jane Doe" }'

批量插入:

curl -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary “@accounts.json"

参考资料:http://blog.csdn.net/pilihaotian/article/details/52452014 
数据下载:https://raw.githubusercontent.com/bly2k/files/master/accounts.zip

删除数据

 删除数据:下面的语句将执行删除Customer中ID为2的数据

curl -XDELETE 'localhost:9200/customer/external/2?pretty'

根据查询条件删除(PS:这条本人没试过,我用的还是2.4版本,这是参照官网资料的5.4版本写的)

curl -XPOST 'localhost:9200/customer/external/_delete_by_query?pretty' -d '{
"query": {
"match": {
"name": "John"
}
}
}'

删除全部

{
"query": {
"match_all": {}
}
}

更新数据

 更新文档: 修改id=1的name属性,并直接增加属性和属性值

curl -XPOST 'localhost:9200/customer/external/1/_update?pretty' -d ' {
"doc": {
"name": "xyd",
"age":
}
}'

更新索引–脚本方式

curl -XPOST 'localhost:9200/customer/external/1/_update?pretty' -d' {
"script": "ctx._source.age += 5"
}'

Python API 实现

说明

  以下代码实现是:单条增加、根据_id删除、根据_id更新、批量增加等接口。调试的时候建议一个一个功能运行。

代码

# -*- coding: utf- -*-

from elasticsearch.helpers import bulk
import elasticsearch class ElasticSearchClient(object):
@staticmethod
def get_es_servers():
es_servers = [{
"host": "localhost",
"port": ""
}]
es_client = elasticsearch.Elasticsearch(hosts=es_servers)
return es_client class LoadElasticSearch(object):
def __init__(self):
self.index = "hz"
self.doc_type = "xyd"
self.es_client = ElasticSearchClient.get_es_servers()
self.set_mapping() def set_mapping(self):
"""
设置mapping
"""
mapping = {
self.doc_type: {
"properties": {
"document_id": {
"type": "integer"
},
"title": {
"type": "string"
},
"content": {
"type": "string"
}
}
}
} if not self.es_client.indices.exists(index=self.index):
# 创建Index和mapping
self.es_client.indices.create(index=self.index, body=mapping, ignore=)
self.es_client.indices.put_mapping(index=self.index, doc_type=self.doc_type, body=mapping) def add_date(self, row_obj):
"""
单条插入ES
"""
_id = row_obj.get("_id", )
row_obj.pop("_id")
self.es_client.index(index=self.index, doc_type=self.doc_type, body=row_obj, id=_id) def add_date_bulk(self, row_obj_list):
"""
批量插入ES
"""
load_data = []
i =
bulk_num = # 2000条为一批
for row_obj in row_obj_list:
action = {
"_index": self.index,
"_type": self.doc_type,
"_id": row_obj.get('_id', 'None'),
"_source": {
'document_id': row_obj.get('document_id', None),
'title': row_obj.get('title', None),
'content': row_obj.get('content', None),
}
}
load_data.append(action)
i +=
# 批量处理
if len(load_data) == bulk_num:
print '插入', i / bulk_num, '批数据'
print len(load_data)
success, failed = bulk(self.es_client, load_data, index=self.index, raise_on_error=True)
del load_data[:len(load_data)]
print success, failed if len(load_data) > :
success, failed = bulk(self.es_client, load_data, index=self.index, raise_on_error=True)
del load_data[:len(load_data)]
print success, failed def update_by_id(self, row_obj):
"""
根据给定的_id,更新ES文档
:return:
"""
_id = row_obj.get("_id", )
row_obj.pop("_id")
self.es_client.update(index=self.index, doc_type=self.doc_type, body={"doc": row_obj}, id=_id) def delete_by_id(self, _id):
"""
根据给定的id,删除文档
:return:
"""
self.es_client.delete(index=self.index, doc_type=self.doc_type, id=_id) if __name__ == '__main__':
write_obj = {
"_id": ,
"document_id": ,
"title": u"Hbase 测试数据",
"content": u"Hbase 日常运维,这是个假数据监控Hbase运行状况。通常IO增加时io wait也会增加,现在FMS的机器正常情况......",
} load_es = LoadElasticSearch() # 插入单条数据测试
load_es.add_date(write_obj) # 根据id更新测试
# write_obj["title"] = u"更新标题"
# load_es.update_by_id(write_obj) # 根据id删除测试
# load_es.delete_by_id() # 批量插入数据测试
# row_obj_list = []
# for i in range(, ):
# temp_obj = write_obj.copy()
# temp_obj["_id"] = i
# temp_obj["document_id"] = i
# row_obj_list.append(temp_obj)
# load_es.add_date_bulk(row_obj_list)

结果显示

单条增加:

单条修改:

单条删除:

批量增加:

 

ElasticSearch 数据增删改实现的更多相关文章

  1. salesforce 零基础开发入门学习(六)简单的数据增删改查页面的构建

    VisualForce封装了很多的标签用来进行页面设计,本篇主要讲述简单的页面增删改查.使用的内容和设计到前台页面使用的标签相对简单,如果需要深入了解VF相关知识以及标签, 可以通过以下链接查看或下载 ...

  2. C#操作Excel数据增删改查(转)

    C#操作Excel数据增删改查. 首先创建ExcelDB.xlsx文件,并添加两张工作表. 工作表1: UserInfo表,字段:UserId.UserName.Age.Address.CreateT ...

  3. C#操作Excel数据增删改查示例

    Excel数据增删改查我们可以使用c#进行操作,首先创建ExcelDB.xlsx文件,并添加两张工作表,接下按照下面的操作步骤即可 C#操作Excel数据增删改查. 首先创建ExcelDB.xlsx文 ...

  4. 【转载】salesforce 零基础开发入门学习(六)简单的数据增删改查页面的构建

    salesforce 零基础开发入门学习(六)简单的数据增删改查页面的构建   VisualForce封装了很多的标签用来进行页面设计,本篇主要讲述简单的页面增删改查.使用的内容和设计到前台页面使用的 ...

  5. Webform(五)——内置对象(Response、Request)和Repeater中的数据增删改

    一.内置对象 (一)Response对象 1.简介:response 对象在ASP中负责将信息传递给用户.Response对象用于动态响应客户端请求,并将动态生成的响应结果返回到客户端浏览器中,使用R ...

  6. 日历插件FullCalendar应用:(二)数据增删改

    接上一篇 日历插件FullCalendar应用:(一)数据展现. 这一篇主要讲使用fullcalendar插件如何做数据的增删改,用到了art.dialog web对话框组件,上一篇用到的webFor ...

  7. 一个在ASP.NET中利用服务器控件GridView实现数据增删改查的例子

    备注:这是我辅导的一个项目开发组的一个例子,用文章的方式分享出来,给更多的朋友参考.其实我们这几年的项目中,都不怎么使用服务器控件的形式了,而是更多的采用MVC这种开发模式.但是,如果项目的历史背景是 ...

  8. MVC设计模式((javaWEB)在数据库连接池下,实现对数据库中的数据增删改查操作)

    设计功能的实现: ----没有业务层,直接由Servlet调用DAO,所以也没有事务操作,所以从DAO中直接获取connection对象 ----采用MVC设计模式 ----采用到的技术 .MVC设计 ...

  9. WebForm 内置对象、数据增删改、状态保持

    一.内置对象 1.Response对象:响应请求 Response.Write("<script>alert('添加成功!')</script>"); → ...

随机推荐

  1. webkit webApp 开发技术要点总结[转]

    http://www.cnblogs.com/pifoo/archive/2011/05/28/webkit-webapp.html 如果你是一名前端er,又想在移动设备上开发出自己的应用,那怎么实现 ...

  2. phpstudy部署thinkPHP

    利用phpstudy配置虚拟主机 Listen 8080 <VirtualHost _default_:80> DocumentRoot "D:\phpStudy\WWW&quo ...

  3. js模板 arttemplate 让数据与html分离

    js模板引擎 前后交互过程中最麻烦的就是如何将json数据展示到页面中,循环拼接html的方法实在是太low了,饱受其苦,BAT同样会遇到这样的问题,于是乎就有个各自的js模板引擎,目的只有一个:让数 ...

  4. 把文件(项目)上传到Git@OSC

    说明: 登录与配置git的操作此处忽略. 假设你已配置好git,并且已绑定oschina. 下面是把一个本地文件夹上传到git的操作: 在git@osc上新建项目.记得选择添加对应的 .gitigno ...

  5. 《Unix&Linux大学教程》学习笔记一:历史与常识

     “为什么说Unix/Linux是自由的:         因为我们可以自己组装一个操作系统:Unix/Linux内核+其他实用工具+编程工具+GUI         因为我们可以自由地获取开源工作者 ...

  6. Hibernate学习笔记二:常用映射配置

    转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6760895.html 一:单向一对一 常用唯一外键的方法来配置单向一对一关系. 1:实体关系 类A中有类B对象 ...

  7. java 生成二维码后叠加LOGO并转换成base64

      1.代码 见文末推荐 2.测试 测试1:生成base64码 public static void main(String[] args) throws Exception { String dat ...

  8. java 生成GUID与UUID

      java 生成GUID与UUID CreateTime--2018年5月31日16点29分 Author:Marydon import java.util.UUID; public static ...

  9. Kinect2.0获取关节姿态(Joint Orientation)

    Bones Hierarchy 骨骼层次结构从SpineBase作为根节点开始,一直延伸到肢体末端(头.指尖.脚): 层级结构如下图所示: 通过IBody::GetJointOrientations函 ...

  10. 用python导出csv文件

    # coding: utf-8 import csv csvfile = open('csv.csv', 'wb') #打开方式还可以使用file对象 writer = csv.writer(csvf ...