ElasticSearch.net NEST批量创建修改删除索引完整示例

本示例采用Elasticsearch+Nest

网上查了很多资料，发现用C#调用Elasticsearch搜索引擎的功能代码很分散，功能不完整，多半是非常简单的操作，没有成型的应用示例。比如新增或修改索引，都是发起一个request新增或修改一条数据，当一次性修改几千条数据时，发起的requst请求过多容易导致429 Too Many Request的错误，单个新增修改索引就非常不适用。其实Nest有批量新增、修改索引的功能，批量删除也可以。现将项目中采用Elasticsearch的C#代码分享如下：

使用NEST客户端

1.连接

1. public ElasticClient GetElasticClient(string esServer, string IndexName)
2. {
3. ElasticClient client = null;
4. string[] server = esServer.Split(',');
5. Uri[] nodes = new Uri[server.Length];
6. for (int i = 0; i < server.Length;i++ )
7. {
8. nodes[i] = new Uri(server[i]);
9. }
10. var connectionPool = new StaticConnectionPool(nodes);
11. var settings = new ConnectionSettings(
12. connectionPool
13. );
14. settings.DefaultIndex(IndexName);
15. client = new ElasticClient(settings);
16. return client;
17. }

2.添加索引

1. var indexExist = client.IndexExists(IndexName);
2. if (!indexExist.Exists)
3. {
4. //基本配置
5. IIndexState indexState = new IndexState()
6. {
7. Settings = new IndexSettings()
8. {
9. NumberOfReplicas = 1,//副本数
10. NumberOfShards = 6//分片数
11. }
12. };
13. //ICreateIndexResponse response = client.CreateIndex(IndexName, p => p.Mappings(m => m.Map<ES_PUB_Stock>(mp => mp.AutoMap())));
14. ICreateIndexResponse response = client.CreateIndex(IndexName, p => p
15. .InitializeUsing(indexState)
16. .Mappings(ms =>
17. ms.Map<ES_PUB_Stock>(m =>
18. m.AutoMap()
19. .Properties(ps =>
20. ps.Nested<ES_PUB_StockPrice>(n =>
21. n.Name(c => c.stockPrice)
22. )
23. .Nested<ES_PUB_SpecValue>(q=>
24. q.Name(c=>c.specValue))))));
25. if (response.IsValid)
26. {
27. string msg = string.Format("索引创建" + IncrementIndexName + "成功！");
28. this.WriteLog(msg);
29. }
30. else
31. {
32. string msg = string.Format("索引创建" + IncrementIndexName + "失败！");
33. this.WriteLog(msg);
34. Thread.CurrentThread.Abort();
35. }
36. }

这里创建索引设置6个分片数，并Mapping自定义的结构。

Mapping相关类型如下：

1. <span style="font-size:14px;">using System;
2. using System.Collections.Generic;
3. using System.Linq;
4. using System.Text;
5. using System.Threading.Tasks;
6. using Nest;
7. namespace SearchMaker.Model.ES.PUB
8. {
9. [ElasticsearchType(IdProperty = "sid", Name = "ES_PUB_Stock")]
10. public class ES_PUB_Stock
11. {
12. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
13. public long? sid { get; set; }
14. [String(Index = FieldIndexOption.NotAnalyzed)]
15. public string model { get; set; }
16. [String(Index = FieldIndexOption.NotAnalyzed)]
17. public string brand { get; set; }
18. [String(Index = FieldIndexOption.NotAnalyzed)]
19. public string encapsulation { get; set; }
20. [String(Index = FieldIndexOption.NotAnalyzed)]
21. public string batchNo { get; set; }
22. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
23. public int invQty { get; set; }
24. [Date(Format = "yyyy-MM-dd HH:mm:ss")]
25. public string updateTime { get; set; }
26. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
27. public int upByMemberID { get; set; }
28. [String(Index = FieldIndexOption.NotAnalyzed)]
29. public string upByMemberName { get; set; }
30. [String(Index = FieldIndexOption.NotAnalyzed)]
31. public string guid { get; set; }
32. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
33. public decimal? price { get; set; }
34. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
35. public int? leastQty { get; set; }
36. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
37. public int limitTime { get; set; }
38. [String(Index = FieldIndexOption.NotAnalyzed)]
39. public string proImg { get; set; }
40. [String(Index = FieldIndexOption.NotAnalyzed)]
41. public string categoryNO { get; set; }
42. [String(Index = FieldIndexOption.NotAnalyzed)]
43. public string proRemark { get; set; }
44. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
45. public int type { get; set; }
46. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
47. public int sendToday { get; set; }
48. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
49. public int pickedToday { get; set; }
50. [String(Index = FieldIndexOption.NotAnalyzed)]
51. public string categoryName { get; set; }
52. [Object(Path = "specValue")]
53. public List<ES_PUB_SpecValue> specValue { get; set; }
54. [Object(Path = "stockPrice")]
55. public List<ES_PUB_StockPrice> stockPrice { get; set; }
56. [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
57. public string specsName { get; set; }
58. [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
59. public string keyword { get; set; }
60. [String(Analyzer = "ik", Index = FieldIndexOption.Analyzed)]
61. public string modelAS { get; set; }
62. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
63. public int modelLength { get; set; }
64. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
65. public decimal score { get; set; }
66. }
67. [ElasticsearchType(Name = "ES_PUB_StockPrice")]
68. public class ES_PUB_StockPrice
69. {
70. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
71. public int? minval { get; set; }
72. [Number(Index = NonStringIndexOption.NotAnalyzed, DocValues = false, IgnoreMalformed = true, Coerce = true)]
73. public decimal? price { get; set; }
74. }
75. [ElasticsearchType(Name = "ES_PUB_Specs")]
76. public class ES_PUB_SpecValue
77. {
78. [String(Index = FieldIndexOption.NotAnalyzed)]
79. public string spec { get; set; }
80. [String(Index = FieldIndexOption.NotAnalyzed)]
81. public string value { get; set; }
82. }
83. }
84. </span>

这里中文分词采用IK分词

3.单个新增、修改索引

1. <span style="font-size:14px;">        private int CreateIndex(ES_PUB_Stock param)
2. {
3. int indexCnt = 0;
4. if (param.sid.GetValueOrDefault(0) > 0)
5. {
6. var response = client.Index<ES_PUB_Stock>(param, i => i.Index(IndexName).Type(IndexType));
7. if (response.IsValid)
8. {
9. indexCnt++;
10. }
11. else
12. {
13. this.WriteWarmessage("创建" + IncrementIndexName + "索引，发生异常:SID:" + param.sid.ToString() + "," + response.DebugInformation, "");
14. }
15. }
16. return indexCnt;
17. }</span>

4.批量新增、修改索引

1. <span style="font-size:14px;"><span style="white-space:pre">    </span>BulkDescriptor descriptor = new BulkDescriptor();</span><pre name="code" class="csharp"><span style="font-size:14px;"><span style="white-space:pre"> </span>descriptor.Index<ES_PUB_Stock>(op => op.Document(esStock));</span></pre><pre name="code" class="csharp"><span style="font-family: Arial, Helvetica, sans-serif;"><span style="font-size:14px;"><span style="white-space:pre">   </span>       private int CreateIndex(BulkDescriptor param)</span></span><pre name="code" class="csharp">   {</pre><pre name="code" class="csharp">            int count = 0;
2. var result = client.Bulk(param);
3. if (!result.Errors)
4. count = result.Items.Count();
5. return count;
6. }</pre>
7. <pre></pre>
8. <pre></pre>
9. <p></p>
10. <pre></pre>
11. <pre></pre>
12. <p></p>
13. <p><span style="font-size:14px"><span style="white-space:pre"></span><strong>5.单个删除索引</strong></span></p>
14. <pre name="code" class="csharp"><span style="font-size:14px;">  private int DeleteIndex(ES_PUB_Stock param)
15. {
16. int indexCnt = 0;
17. if (param.sid.GetValueOrDefault(0) > 0)
18. {
19. var response = client.Delete<ES_PUB_Stock>(param.sid, i => i.Index(IndexName).Type(IndexType));
20. if (response.IsValid)
21. {
22. indexCnt++;
23. }
24. }
25. return indexCnt;
26. }</span></pre><span style="font-size:14px"><br>
27. </span>
28. <p></p>
29. <p><span style="font-size:14px">按上方所述，即可实现C#对Elasticsearch的操作。</span></p>
30. <p><span style="font-size:14px">NEST对Elasticsearch的结构化查询，待下篇......<br>
31. </span><br>
32. </p>
33. <pre></pre>
34. <pre></pre>
35. </pre>