前面我们讲解了关于ElasticSearch的安装配置,以及CRUD

本章我将讲解怎么使用c#操作ElasticSearch。

首先你需要一定的技术储备,比如:asp.net webapi,mvc,jsonp,knockout。这些知识在这里不再讲解,请自行Google。

项目DEMO介绍

搜索和索引功能我是以服务(webapi项目)方式提供的,在客户端(mvc项目)中的view视图中,直接使用ajax(jsonp格式)方式调用webapi,然后使用knockout绑定到table上的。

项目结构如图:

引入驱动

工欲善其事必先利其器,首先我们需要在Supernova.Webapi层中引入操作ElasticSearch的驱动dll PlainElastic.Net。

如图:

封装操作ElasticSearch的ElasticSearchHelper

 

demo中涉及的实体对象模型

详细介绍ElasticSearchHelper里面的方法

1.索引文档(注意:索引文档之前先用配置filed对应的ik分词):

 public IndexResult Index(string indexName, string indexType, string id, string jsonDocument)
{ var serializer = new JsonNetSerializer();
string cmd = new IndexCommand(indexName, indexType, id);
OperationResult result = Client.Put(cmd, jsonDocument); var indexResult = serializer.ToIndexResult(result.Result);
return indexResult;
}
public IndexResult Index(string indexName, string indexType, string id, object document)
{
var serializer = new JsonNetSerializer();
var jsonDocument = serializer.Serialize(document);
return Index(indexName, indexType, id, jsonDocument);
}

2.对单个字段的全文检索,字段intro 包含词组key中的任意一个单词。例如:词组(中国美好),只要每条数据的intro字段包含"中国"或者"美好"就返回。

public personList Search<person>(string indexName, string indexType, string key,int from ,int size)
{
string cmd = new SearchCommand(indexName, indexType);
string query = new QueryBuilder<person>()
//1 查询
.Query(b =>
b.Bool(m =>
//并且关系
m.Must(t => //分词的最小单位或关系查询
t.QueryString(t1=>t1.DefaultField("intro").Query(key))
//.QueryString(t1 => t1.DefaultField("name").Query(key))
// t .Terms(t2=>t2.Field("intro").Values("研究","方鸿渐"))
//范围查询
// .Range(r => r.Field("age").From("100").To("200") )
)
)
)
//分页
.From(from)
.Size(size)
//排序
// .Sort(c => c.Field("age", SortDirection.desc))
//添加高亮
.Highlight(h => h
.PreTags("<b>")
.PostTags("</b>")
.Fields(
f => f.FieldName("intro").Order(HighlightOrder.score),
f => f.FieldName("_all")
)
)
.Build(); string result = Client.Post(cmd, query);
var serializer = new JsonNetSerializer();
var list = serializer.ToSearchResult<Supernova.Webapi.DbHelper.person>(result);
personList datalist = new personList();
datalist.hits = list.hits.total;
datalist.took = list.took;
var personList= list.hits.hits.Select(c => new Supernova.Webapi.DbHelper.person() {
id=c._source.id,
age=c._source.age,
birthday =c._source.birthday,
intro=string.Join("",c.highlight["intro"]), //高亮显示的内容,一条记录中出现了几次
name=c._source.name,
sex=c._source.sex, });
datalist.list.AddRange(personList);
return datalist; }

3.字段intro 或者name 包含词组key中的所有单词。例如:词组(中国美好),只要每条数据的intro或者name字段包含"中国"并且包含"美好"就返回。

   public personList SearchFullFileds<person>(string indexName, string indexType, string key, int from, int size)
{
MustQuery<person> mustNameQueryKeys = new MustQuery<person>();
MustQuery<person> mustIntroQueryKeys = new MustQuery<person>();
var arrKeys = GetIKTokenFromStr(key);
foreach (var item in arrKeys)
{
mustNameQueryKeys = mustNameQueryKeys.Term(t3 => t3.Field("name").Value(item)) as MustQuery<person>;
mustIntroQueryKeys = mustIntroQueryKeys.Term(t3 => t3.Field("intro").Value(item)) as MustQuery<person>;
} string cmd = new SearchCommand(indexName, indexType);
string query = new QueryBuilder<person>()
//1 查询
.Query(b =>
b.Bool(m =>
m.Should(t =>
t.Bool(m1 =>
m1.Must(
t2 =>
//t2.Term(t3=>t3.Field("name").Value("研究"))
// .Term(t3=>t3.Field("name").Value("方鸿渐"))
mustNameQueryKeys
)
)
)
.Should(t =>
t.Bool(m1 =>
m1.Must(t2 =>
//t2.Term(t3 => t3.Field("intro").Value("研究"))
//.Term(t3 => t3.Field("intro").Value("方鸿渐"))
mustIntroQueryKeys
)
)
)
)
)
//分页
.From(from)
.Size(size)
//排序
// .Sort(c => c.Field("age", SortDirection.desc))
//添加高亮
.Highlight(h => h
.PreTags("<b>")
.PostTags("</b>")
.Fields(
f => f.FieldName("intro").Order(HighlightOrder.score),
f => f.FieldName("name").Order(HighlightOrder.score)
)
)
.Build(); string result = Client.Post(cmd, query);
var serializer = new JsonNetSerializer();
var list = serializer.ToSearchResult<Supernova.Webapi.DbHelper.person>(result);
personList datalist = new personList();
datalist.hits = list.hits.total;
datalist.took = list.took;
var personList = list.hits.hits.Select(c => new Supernova.Webapi.DbHelper.person()
{
id = c._source.id,
age = c._source.age,
birthday = c._source.birthday,
intro = c.highlight==null||!c.highlight.Keys.Contains("intro") ? c._source.intro : string.Join("", c.highlight["intro"]), //高亮显示的内容,一条记录中出现了几次
name = c.highlight==null||!c.highlight.Keys.Contains("name") ? c._source.name : string.Join("", c.highlight["name"]),
sex = c._source.sex });
datalist.list.AddRange(personList);
return datalist; }

3.搜索age在1到500之间,并且字段intro 或者name 包含词组key中的所有单词。

 public personList SearchFullFiledss<person>(string indexName, string indexType, string key, int from, int size)
{
MustQuery<person> mustNameQueryKeys = new MustQuery<person>();
MustQuery<person> mustIntroQueryKeys = new MustQuery<person>();
var arrKeys = GetIKTokenFromStr(key);
foreach (var item in arrKeys)
{
mustNameQueryKeys = mustNameQueryKeys.Term(t3 => t3.Field("name").Value(item)) as MustQuery<person>;
mustIntroQueryKeys = mustIntroQueryKeys.Term(t3 => t3.Field("intro").Value(item)) as MustQuery<person>;
} string cmd = new SearchCommand(indexName, indexType);
string query = new QueryBuilder<person>()
//1 查询
.Query(b =>
b.Bool(m =>
m.Must(t =>
t.Range(r => r.Field("age").From("1").To("500"))
.Bool(ms =>
ms.Should(ts =>
ts.Bool(m1 =>
m1.Must(
t2 =>
//t2.Term(t3=>t3.Field("name").Value("研究"))
// .Term(t3=>t3.Field("name").Value("方鸿渐"))
//
mustNameQueryKeys
)
)
)
.Should(ts =>
ts.Bool(m1 =>
m1.Must(t2 =>
//t2.Term(t3 => t3.Field("intro").Value("研究"))
//.Term(t3 => t3.Field("intro").Value("方鸿渐")) //
mustIntroQueryKeys
)
)
)
)
)
)
)
//分页
.From(from)
.Size(size)
//排序
// .Sort(c => c.Field("age", SortDirection.desc))
//添加高亮
.Highlight(h => h
.PreTags("<b>")
.PostTags("</b>")
.Fields(
f => f.FieldName("intro").Order(HighlightOrder.score),
f => f.FieldName("name").Order(HighlightOrder.score)
)
)
.Build(); string result = Client.Post(cmd, query);
var serializer = new JsonNetSerializer();
var list = serializer.ToSearchResult<Supernova.Webapi.DbHelper.person>(result);
personList datalist = new personList();
datalist.hits = list.hits.total;
datalist.took = list.took;
var personList = list.hits.hits.Select(c => new Supernova.Webapi.DbHelper.person()
{
id = c._source.id,
age = c._source.age,
birthday = c._source.birthday,
intro = c.highlight==null||!c.highlight.Keys.Contains("intro") ? c._source.intro : string.Join("", c.highlight["intro"]), //高亮显示的内容,一条记录中出现了几次
name = c.highlight==null||!c.highlight.Keys.Contains("name") ? c._source.name : string.Join("", c.highlight["name"]),
sex = c._source.sex });
datalist.list.AddRange(personList);
return datalist; }

需要用到的方法:将语句用ik分词,返回分词结果的集合

 private List<string> GetIKTokenFromStr(string key)
{
string s = "/db_test/_analyze?analyzer=ik";
var result = Client.Post(s, "{"+key+"}");
var serializer = new JsonNetSerializer();
var list = serializer.Deserialize(result, typeof(ik)) as ik;
return list.tokens.Select(c=>c.token).ToList();
}

ASP.NET WebApi 调用ElasticSearchHelper

1.首先我们添加一个基类ApiController

 public class BaseApiController : ApiController
{ public MongoDatabase db;
public MongoCollection col = null;//用于直接返回查询的json
public BaseApiController() { }
public BaseApiController(string collectionName)
{
db = DbHelper.MongodbHelper.Instance.DB;
col = db.GetCollection(collectionName);
}
public string GetStringRequest(string paramter)
{
return HttpContext.Current.Request.QueryString[paramter] ?? "";
}
public int? GetIntRequest(string paramter)
{
string tmp = HttpContext.Current.Request.QueryString[paramter] ?? "";
int tag = 0;
if (!int.TryParse(tmp, out tag))
{
return null;
}
return tag;
}
}

2.操作ElasticSearch的apicontroller如下:

3.索引数据的api如下:

/// <summary>
/// 索引数据
/// </summary>
/// <returns></returns>
[Route("estest/index")]
[HttpGet]
public object index()
{
int length = S.test.Length;
Random rd = new Random();
Random rdName = new Random();
ParallelOptions _po = new ParallelOptions();
_po.MaxDegreeOfParallelism = 4;
Parallel.For(0, 10000000, _po, c =>
{ var start = rd.Next(0, S.test.Length - 700);
var startName = rd.Next(0, S.test.Length - 30);
person p = new person() { age = DateTime.Now.Millisecond, birthday = DateTime.Now, id = Guid.NewGuid().ToString(), intro = S.test.Substring(start, 629) + c, name = S.test.Substring(startName, 29) + c, sex = true };
ElasticSearchHelper.Intance.Index("db_test", "person", Guid.NewGuid().ToString(), p);
});
return 1;
}

索引使用的测试数据如下:

4.搜索api如下:

[Route("estest")]
[HttpGet]
public object Search()
{
//1 搜索数据
string key = GetStringRequest("Key");
int? from = GetIntRequest("from");
int? size = GetIntRequest("size"); return ElasticSearchHelper.Intance.Search<person>("db_test", "person", key ?? "方鸿渐", from == null ? 0 : from.Value, size == null ? 20 : size.Value); }
[Route("estest/SearchFullFileds")]
[HttpGet]
public object SearchFullFileds()
{
//1 搜索数据
string key = GetStringRequest("Key");
int? from = GetIntRequest("from");
int? size = GetIntRequest("size");
return ElasticSearchHelper.Intance.SearchFullFileds<person>("db_test", "person", key ?? "方鸿渐", from == null ? 0 : from.Value, size == null ? 20 : size.Value); }
[Route("estest/SearchFullFiledss")]
[HttpGet]
public object SearchFullFiledss()
{
//1 搜索数据
string key = GetStringRequest("Key");
int? from = GetIntRequest("from");
int? size = GetIntRequest("size");
return ElasticSearchHelper.Intance.SearchFullFiledss<person>("db_test", "person", key ?? "方鸿渐", from == null ? 0 : from.Value, size == null ? 20 : size.Value); }

WebSite中的view视图调用webapi

说明:我是直接使用ajax(jsop格式)调用webapi,返回的数据直接用knockout绑定到table中的。

视图代码如下:

@{
ViewBag.Title = "ElasticSearch测试";
Layout = null;
}
<link href="~/Content/bootstrap.css" rel="stylesheet" />
<script src="~/Scripts/jquery-2.1.3.min.js"></script>
<script src="~/Scripts/knockout-3.3.0.js"></script>
<style>
b{
color:red;
}
</style>
<script>
$(function () {
function ViewModel() {
self = this;
self.getData = ko.observableArray();
//定义加载数据方法
self.loadData = function () {
$.get("http://192.168.0.230/api/estest//SearchFullFiledss", { key: "@Request.QueryString["key"]", from: "@Request.QueryString["from"]", size: "@Request.QueryString["size"]" }, function (data) {
// alert(data.hits);
// alert(data.list.length);
$("#count").text("符合条件的数据供:" + data.hits + " 共花费了:" + data.took + "毫秒"); $.each(data.list, function (i) {
var date=data.list[i].birthday; });
self.getData(data.list);
}, "jsonp");
};
//调用定义方法
self.loadData();
}
ko.applyBindings(new ViewModel()); }); </script>
<div id="count"></div> <div class="row">
<table class="table-bordered table-condensed table-hover table-striped">
<tbody data-bind="foreach: getData">
<tr>
<td data-bind="text: id" />
<td data-bind="html: name" />
<td data-bind="text: sex" />
<td data-bind="text: age" />
<td data-bind="text: birthday" />
<td data-bind="html: intro" />
</tr>
</tbody>
</table>
</div>
<script> </script>

搜索结果测试如下(我是用"api/estest//SearchFullFiledss"这个api测试的,搜索age在1到500之间,并且字段intro 或者name 包含词组key中的所有单词。):

1.首先我们看一看测试数据总共有多少:

我们可以看到总共db_test中总共有两千多万条数据。

搜索测试1

测试条件:key=上海方鸿渐&from=0&size=100,key指搜索关键短语,0是从第0条开始区数据,100是指取一百条数据,隐藏条件是age大于1小于500

我们可以看到,首次搜索时,两千多万条数据大约耗时3.5秒,这里还包括取100条数据的时间,如果把数据改为20条则会更快。这里的硬件配置还只限于我的本机测试(内存8G,处理器Intel i5-4590 3.3GHZ)。

搜索测试2

测试条件同测试1:key=上海方鸿渐&from=0&size=100,key指搜索关键短语,0是从第0条开始区数据,100是指取一百条数据,隐藏条件是age大于1小于500

我们可以看到,搜索耗时降到了大约1.5秒。这说明同一个关键词搜索越频繁,搜索速度越快,这是因为ElasticSearch会自动将搜索的内容缓存到内存中。

搜索测试3

测试条件:key=香烟德国&from=0&size=20,key指搜索关键短语,0是从第0条开始区数据,20是指取一百条数据,隐藏条件是age大于1小于500

搜索测试4

测试条件同测试3,二次相同条件搜索:key=香烟德国&from=0&size=20,key指搜索关键短语,0是从第0条开始区数据,20是指取一百条数据,隐藏条件是age大于1小于500

我们可以看到,在二次搜索条件相同,搜索数据降低到20条的时候,只耗时不到0.5秒。

本章完……

ElasticSearch系列学习

ElasticSearch第一步-环境配置

ElasticSearch第二步-CRUD之Sense

ElasticSearch第三步-中文分词

ElasticSearch第四步-查询详解

ElasticSearch第五步-.net平台下c#操作ElasticSearch详解

ElasticSearch第五步-.net平台下c#操作ElasticSearch详解的更多相关文章

  1. net平台下c#操作ElasticSearch详解

    net平台下c#操作ElasticSearch详解 ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense Elasti ...

  2. ElasticSearch-.net平台下c#操作ElasticSearch详解

    ElasticSearch系列学习 ElasticSearch第一步-环境配置 ElasticSearch第二步-CRUD之Sense ElasticSearch第三步-中文分词 ElasticSea ...

  3. 分布式搜索Elasticsearch增、删、改、查操作深入详解

    引言: 对于刚接触ES的童鞋,经常搞不明白ES的各个概念的含义.尤其对“索引”二字更是与关系型数据库混淆的不行.本文通过对比关系型数据库,将ES中常见的增.删.改.查操作进行图文呈现.能加深你对ES的 ...

  4. Elasticsearch增、删、改、查操作深入详解

    引言: 对于刚接触ES的童鞋,经常搞不明白ES的各个概念的含义.尤其对“索引”二字更是与关系型数据库混淆的不行.本文通过对比关系型数据库,将ES中常见的增.删.改.查操作进行图文呈现.能加深你对ES的 ...

  5. (转) unity 在移动平台中,文件操作路径详解

    http://www.unitymanual.com/thread-23491-1-1.html 今天,这篇文章其实是个老生常谈的问题咯,在网上类似的文章也比比皆是,在此我只是做个详细总结方便大家能够 ...

  6. unity 在移动平台中,文件操作路径详解

    今天,这篇文章其实是个老生常谈的问题咯,在网上类似的文章也比比皆是,在此我只是做个详细总结方便大家能够更好.更快的掌握,当然,如有不足的地方 欢迎指正!!! 相信大家在开发过程中,难免会保存一些文件在 ...

  7. “全栈2019”Java第五十九章:抽象类与抽象方法详解

    难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...

  8. “全栈2019”Java第五十六章:多态与字段详解

    难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...

  9. “全栈2019”Java第五十二章:继承与初始化详解

    难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...

随机推荐

  1. CISCO运维记录之4507设备升级IOS(Version 03.03.02.SG版本存在bug)

    CISCO运维记录之3650堆叠设备升级IOS(Version 03.03.02.SG版本存在bug) 1. 问题详情 思科45系列交换机使用Catalyst 4500 L3 Switch Softw ...

  2. 利用nethogs查看哪些进程占用网络带宽

    一.安装nethogs centos6版本安装: 1.安装依赖包 [root@hlsms-fensheng- ~]# yum install ncurses* 已加载插件:fastestmirror, ...

  3. centos swap分区

    swap分区         通常memory是机器的物理内存,读写速度低于cpu一个量级,但是高于磁盘不止一个量级.所以,程序和数据如果在内存的话,会有非常快的读写速度.但是,内存的造价是要高于磁盘 ...

  4. Spring MVC 基于AnnotationFormatterFactory接口实现自定义的规则

    1.创建一个类来实现AnnotationFormatterFactory接口 代码: package com.oukele.CustomAnnotation; import com.oukele.mo ...

  5. 《Python3 标准库》作者 道格.赫尔曼

    Doug Hellmann目前是Racemi公司的一位高级开发人员,也是Python Software Foundation的信息交流主管.从1.4版开始他就一直在做Python编程,曾在大量UNIX ...

  6. docker 部署项目

    一:我使用的是阿里云的ubuntu16.4系统. 项目数据库: # 数据源 spring: datasource: type: com.zaxxer.hikari.HikariDataSource d ...

  7. BZOJ 3784: 树上的路径 点分治+二分+set

    很容易想出二分这个思路,但是要想办法去掉一个 $log$. 没错,空间换时间. 双指针的部分错了好几次~ Code: #include <set> #include <queue&g ...

  8. pika 与 rabbitMQ 阻塞连接

    之前只是用celery, 这次用一下pika 参考rabbitMQ官网的python版,https://www.rabbitmq.com/tutorials/tutorial-one-python.h ...

  9. POJ 3683 神父赶婚宴 2-SAT+输出模板

    题意:一个小镇里面只有一个牧师,现在有些新人要结婚,需要牧师分别去主持一个仪式,给出每对新人婚礼的开始时间 s 和结束时间 t ,还有他们俩的这个仪式需要的时间(每对新人需要的时间长短可能不同) d ...

  10. 序列模式挖掘--SPADE算法