摘要

为了验证当前集群经常出现索引超时以及请求拒绝的问题，现模拟线上集群环境及索引设置，通过压测工具随机生成测试数据，针对当前的 850 个分片的索引，以及减半之后的索引，以及更小分片索引的写入进行压测，使用不同的并发、不同的批次大小来观察索引的吞吐情况，并记录写入队列的堆积情况，用来分析分片数、批次数对写入的影响，从而确定后续的优化方案。

压测场景

Elasticsearch 版本 v7.7.1, 共有 57 个节点，其中 3 个独立 Master，3 个协调节点，31GB JVM。

压测流程

单索引 850 分片

索引定义

PUT idx-xxxx-xxxxxx

{

    "aliases" : {

      "alias-xxxx-xxxxxx" : { }

    },

    "mappings" : {

      "dynamic" : "strict",

      "_routing" : {

        "required" : true

      },

      "_source" : {

        "excludes" : [

          "isExtract*",

          "batchNo"

        ]

      },

      "properties" : {

        "addxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "clxxxx" : {

          "type" : "byte"

        },

        "contxxxx" : {

          "type" : "text",

          "boost" : 4.0,

          "term_vector" : "with_positions_offsets"

        },

        "conxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "con1xxxx" : {

          "type" : "text",

          "boost" : 16.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword",

              "normalizer" : "keyword_normalizer"

            }

          },

          "analyzer" : "name_analyzer",

          "search_analyzer" : "keyword_analyzer"

        },

        "contSxxxx" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "contSxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "contTxxxx" : {

          "type" : "short"

        },

        "crtxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "duration" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "largeTxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "md5" : {

          "type" : "keyword",

          "index" : false,

          "doc_values" : false

        },

        "orderxxxx" : {

          "type" : "alias",

          "path" : "contName.keyword"

        },

        "ownxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "parenxxxxxxxxxx" : {

          "type" : "keyword"

        },

        "pathxx" : {

          "type" : "text",

          "boost" : 8.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword"

            }

          },

          "analyzer" : "path_analyzer"

        },

        "presexxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "presexxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "presxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prixxxxxx" : {

          "type" : "short",

          "index" : false

        },

        "search_xxxxxx" : {

          "type" : "alias",

          "path" : "contName"

        },

        "servixxxxxx" : {

          "type" : "byte"

        },

        "shotxxxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "xxxxxxlThuxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "tagxxxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "thumxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "xxxxxxpdxxxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "xxxxxxderAcxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxerAccouxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxerxxxxxxID" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxderNxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        }

      }

    },

    "settings" : {

      "index" : {

        "max_ngram_diff" : "50",

        "refresh_interval" : "1s",

        "number_of_shards" : "850",

        "analysis" : {

          "normalizer" : {

            "keyword_normalizer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom"

            }

          },

          "analyzer" : {

            "keyword_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "keyword"

            },

            "name_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "name_tokenizer"

            },

            "path_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "path_tokenizer"

            }

          },

          "tokenizer" : {

            "name_tokenizer" : {

              "type" : "ngram",

              "min_gram" : "1",

              "max_gram" : "5"

            },

            "path_tokenizer" : {

              "pattern" : "/",

              "type" : "pattern"

            }

          }

        },

        "number_of_replicas" : "1"

      }

    }

  }

样例数据

POST idx-owncloud-img/_doc/1?routing=1

{

  "ownerxxxxxx" : "002#######0oV",

  "serxxxxxx" : 1,

  "tagxxxxxx" : "",

  "contxxxxxx" : "",

  "xxxxxxAccoxxxxxxe" : "1",

  "presxxxxxx" : "",

  "conxxxxxx" : "jpg",

  "xxxxxxerBxxxxxx" : "6#######573",

  "ownerxxxxxxx" : "13#######62",

  "presxxxxxxL" : "",

  "duxxxxxx" : 0,

  "paxxxxxx" : "00##########################################043",

  "crtxxxxxx" : "20#######45",

  "pxxxxxxtCatxxxxxx" : "001############################043",

  "sxxxxxxThumxxxxxx" : "http://downl#################################################961",

  "uxxxxxxerAxxxxxxt" : "1##############2",

  "uxxxxxxderAccoxxxxxxe" : "1",

  "uxxxxxxderxxxxxxID" : "0#####################V",

  "lxxxxxxhumxxxxxxl" : "http://d###################################D961",

  "thxxxxxxl" : "http://do###############################################################61",

  "axxxxxxss" : "",

  "uxxxxxxm" : "20##############8",

  "cxxxxxx" : 3,

  "coxxxxxx" : 1,

  "prxxxxxx" : 10,

  "coxxxxxx" : "0###################################cm",

  "co2xxxxxx" : 5##############8,

  "shoxxxxxx" : "20##############4",

  "contxxxxxx" : "mm##############g",

  "presxxxxxx" : "",

  "oxxxxxxBmpxxxxxx" : "6#######3",

  "md5" : "7##############1E"

}

loadgen 配置

root@loadgen:/opt/loadgen# cat loadgen.yml

statsd:

  enabled: false

  host: 192.168.3.98

  port: 8125

  namespace: loadgen.

variables:

  - name: ip

    type: file

    path: dict/ip.txt

  - name: message

    type: file

    path: dict/nginx.log

#  - name: user

#    type: file

#    path: dict/user.txt

  - name: id

    type: sequence

  - name: uuid

    type: uuid

  - name: now_local

    type: now_local

  - name: now_utc

    type: now_utc

  - name: now_unix

    type: now_unix

  - name: suffix

    type: range

    from: 12

    to: 12

  - name: bool

    type: range

    from: 0

    to: 1

requests:

  - request:

      method: POST

      runtime_variables:

        batch_no: id

      runtime_body_line_variables:

        routing_no: uuid

      basic_auth:

        username: elastic

        password: ####

      url: https://xxx.elasticsearch.xxx.cn:9243/_bulk

      body_repeat_times: 50

      body: "{ \"create\" : { \"_index\" : \"idx-xxxxxx-xxxxxx\",\"_type\":\"_doc\", \"_id\" : \"$[[uuid]]\" , \"routing\" : \"$[[routing_no]]\" } }\n{ \"ownerxxxxxx\" : \"0011WsjCK0oV\", \"servxxxxxx\" : $[[bool]], \"tagxxxxxx\" : \"\", \"contxxxxxx\" : \"\", \"ownexxxxxxunxxxxxx\" : \"$[[bool]]\", \"prxxxxxxentLxxxxxx\" : \"\", \"conxxxxxx\" : \"jpg\", \"uxxxxxxexxxxxxID\" : \"$[[id]]\", \"owxxxxxxccxxxxxxt\" : \"$[[routing_no]]\", \"prxxxxxxtUxxxxxxL\" : \"\", \"durxxxxxxn\" : 0, \"paxxxxxx\" : \"00019700101000000001/0011WsjCK0oV00019700101000000043\", \"crxxxxxx\" : \"$[[id]]\", \"paxxxxxxntxxxxxxogIxxxxxx\" : \"0011WsjCK0oV00019700101000000043\", \"sxxxxxxThumxxxxxx\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=0&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxderAxxxxxxnt\" : \"$[[routing_no]]\", \"upxxxxxxerAcxxxxxxtype\" : \"$[[bool]]\", \"uploaderNDUserID\" : \"$[[uuid]]\", \"largeThumbnail\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=1&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxil\" : \"http://download.xxx.xxx.com:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=2&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"adxxxxxx\" : \"\", \"upxxxxxx\" : \"$[[now_unix]]\", \"cxxxxxx\" : 3, \"contxxxxxxe\" : $[[bool]], \"prixxxxxx\" : 10, \"conxxxxxx\" : \"0011WsjCK0oV06320210812125345tcm\", \"contxxxxxx\" : $[[id]], \"shoxxxxxx\" : \"$[[id]]\", \"contxxxxxxe\" : \"mmexport1625925135032.jpg\", \"prxxxxxxtHxxxxxx\" : \"\", \"oxxxxxxrBmxxxxxxID\" : \"$[[id]]\", \"md5\" : \"$[[uuid]]\" }\n"

运行测试``

开启 gzip 流量压缩，执行压测：

root@loadgen:/opt/loadgen# ./loadgen-linux-amd64 -config loadgen.yml -d 6000 -c 100  -compress

1 副本 100 并发

0 副本 100 并发

0 副本 200 并发



写入队列已经存在大量堆积和拒绝的现象了：

1 副本 200 并发



1 副本 400 并发

1 副本 800 并发



1 副本批次 500 并发 100



1 副本批次 2000 并发 100



1 副本批次 5000 并发 100

1 副本批次 5000 并发 200



单索引 425 分片

索引定义

PUT idx-xxxxxx-xxxxxx-425

{

    "aliases" : {

      "alias-xxxxxx-xxxxxx" : { }

    },

    "mappings" : {

      "dynamic" : "strict",

      "_routing" : {

        "required" : true

      },

      "_source" : {

        "excludes" : [

          "isExtract*",

          "batchNo"

        ]

      },

      "properties" : {

        "addxxxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "cxxxxxx" : {

          "type" : "byte"

        },

        "coxxxxxxc" : {

          "type" : "text",

          "boost" : 4.0,

          "term_vector" : "with_positions_offsets"

        },

        "coxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "conxxxxxxe" : {

          "type" : "text",

          "boost" : 16.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword",

              "normalizer" : "keyword_normalizer"

            }

          },

          "analyzer" : "name_analyzer",

          "search_analyzer" : "keyword_analyzer"

        },

        "coxxxxxxze" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "conxxxxxxfix" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "coxxxxxxpe" : {

          "type" : "short"

        },

        "cxxxxxxm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "duxxxxxxon" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "laxxxxxxbnail" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "md5" : {

          "type" : "keyword",

          "index" : false,

          "doc_values" : false

        },

        "ordxxxxxxNamxxxxxx" : {

          "type" : "alias",

          "path" : "contName.keyword"

        },

        "oxxxxxxccoxxxxxxt" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "owxxxxxxcounxxxxxxpe" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "owxxxxxxpUsxxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "oxxxxxxDUsexxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "pxxxxxxtalxxxxxxD" : {

          "type" : "keyword"

        },

        "patxxxxxx" : {

          "type" : "text",

          "boost" : 8.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword"

            }

          },

          "analyzer" : "path_analyzer"

        },

        "prxxxxxxntHxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prxxxxxxntLxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prxxxxxxURxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "pxxxxxxity" : {

          "type" : "short",

          "index" : false

        },

        "sxxxxxxch_nxxxxxxe" : {

          "type" : "alias",

          "path" : "contName"

        },

        "sexxxxxxeTxxxxxxe" : {

          "type" : "byte"

        },

        "sxxxxxxTm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "smxxxxxxThuxxxxxxl" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "taxxxxxxa" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "txxxxxxnaxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "uxxxxxxm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "upxxxxxxdexxxxxxount" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "upxxxxxxrAcxxxxxxpe" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "upxxxxxxmpUsxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "uxxxxxxerNDxxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        }

      }

    },

    "settings" : {

      "index" : {

        "max_ngram_diff" : "50",

        "refresh_interval" : "1s",

        "number_of_shards" : "425",

        "analysis" : {

          "normalizer" : {

            "keyword_normalizer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom"

            }

          },

          "analyzer" : {

            "keyword_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "keyword"

            },

            "name_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "name_tokenizer"

            },

            "path_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "path_tokenizer"

            }

          },

          "tokenizer" : {

            "name_tokenizer" : {

              "type" : "ngram",

              "min_gram" : "1",

              "max_gram" : "5"

            },

            "path_tokenizer" : {

              "pattern" : "/",

              "type" : "pattern"

            }

          }

        },

        "number_of_replicas" : "1"

      }

    }

  }

{{< /expand >}}

1 副本批次 50 并发 100



1 副本批次 50 并发 200

1 副本批次 50 并发 400

1 副本批次 50 并发 800

1 副本批次 500 并发 100



1 副本批次 2000 并发 100

1 副本批次 5000 并发 100



单索引 50 分片

1 副本批次 50 并发 100



1 副本批次 500 并发 100



1 副本批次 1000 并发 100



1 副本批次 5000 并发 100



走网关单索引 425 分片

1 副本批次 50 并发 400>200

1 副本批次 500 并发 100

1 副本批次 500 并发 200

1 副本批次 500 并发 400



1 副本批次 5000 并发 100



1 副本批次 5000 并发 200



1 副本批次 5000 并发 400



走网关单索引 850 分片

1 副本批次 50 并发 400

1 副本批次 500 并发 400

1 副本批次 5000 并发 400

压测结果

索引数 分片数 副本数 批次大小 压测并发 平均写入吞吐(eps)
1 850 1 50 100 10,000
1 850 0 50 100 30,000
1 850 0 50 200 40,000
1 850 1 50 200 18,000
1 850 1 50 400 27,500
1 850 1 50 800 29,700
1 850 1 500 100 30,187
1 850 1 2000 100 68,000
1 850 1 5000 100 98,915
1 850 1 5000 200 78,462
1 425 1 50 100 12,695
1 425 1 500 100 46818
1 425 1 2000 100 100,000
1 425 1 5000 100 130,000
1 50 1 50 100 32,987
1 50 1 500 100 96,207
1 50 1 1000 100 147,719
1 50 1 5000 100 156,961

走网关节点异步合并模式：

索引数 分片数 副本数 批次大小 压测并发 平均写入吞吐(eps)
1 425 1 50 100 500
1 425 1 50 200 1,000
1 425 1 50 400 2,000
1 425 1 500 100 4,800
1 425 1 500 200 9,350
1 425 1 500 400 17,000
1 425 1 5000 100 50,000
1 425 1 5000 200 100,000
1 425 1 5000 400 175,000
1 850 1 50 400 2000
1 850 1 500 400 18,800
1 850 1 5000 400 137,000

结论

大分片索引，850 或者 425，在并发即使只有 100 的情况下就有可能出现占满线程池，出现请求拒绝的情况，单个批次的文档数比较小的情况下，更容易出现。

而同样格式的索引，在 50 个分片的情况下，索引的吞吐是 425 分片的两倍，850 分片的三倍，且线程池基本上没有堆积，或者堆积很快处理完。单次请求的文档数越多，写入的效率越高。

某些场景下索引分片虽然做了 Routing 处理，但是超大分片索引存在严重的转发效率问题，建议按照业务维度，或者当前的 Routing 维度进行索引的划分，将超大索引拆分成若干个子索引，单个索引的分片数尽量不要超过 20 个。

关于 Elasticsearch 不同分片设置的压测报告的更多相关文章

  1. 关于springmvc的helloworld的压测报告

    都说hello world 很简单,应该能承受很大的请求压力,那么到底有多大?你知道吗?如果知道,那咱们就不继续了.如果不知道,我们来看一下! 1. 准备工作,快速建立一个基于springmvc的he ...

  2. 支付宝LR集群压测报告

    支付宝压力测试报告 时间:2016-03-23                                             测试人员:XXX 目录 支付宝压力测试报告 1 目录 1 一   ...

  3. Jemeter 压测 Elasticsearch

    Jemeter 版本 apache-jmeter-5.5 Elasticsearch 版本 7.17.6 自行官网下载 Elasticsearch压测报告 Elasticsearch 服务器当前情况: ...

  4. jmeter压测学习7-登录参数化(CSV 数据文件设置)

    前言 我们在压测登录接口的时候,如果只用一个账号去设置并发压测,这样的结果很显然是不合理的,一个用户并发无法模拟真实的情况. 如果要压测登录接口,肯定得准备几百,甚至上千的账号去登录,测试的结果才具有 ...

  5. 全链路压测平台（Quake）在美团中的实践

    背景 在美团的价值观中,以“客户为中心”被放在一个非常重要的位置,所以我们对服务出现故障越来越不能容忍.特别是目前公司业务正在高速增长阶段,每一次故障对公司来说都是一笔非常不小的损失.而整个IT基础设 ...

  6. 性能压测诡异的Requests/second 响应刺尖问题

    最近一段时间都在忙着转java项目最后的冲刺,前期的coding翻代码.debug.fixbug都逐渐收尾,进入上线前的性能压测. 虽然不是大促前的性能压测要求,但是为了安全起见,需要摸个底心里有个数 ...

  7. 压测过程中出现ops断崖式下跌原因及排解

    压测机器: 100台docker redis集群:16个分片 在开始压测的半个小时中,一直很稳定,ops稳定在20w左右.但是接下来突然ops断崖式下跌,ops降到了3w以下.然后持续一段时间,直至变 ...

  8. 京东全链路压测军演系统(ForceBot)架构解密

    摘要:全链路压测是应对电商大促容量规划最有效的手段,如何有效进行容量规划是其中的架构关键问题.京东在全链路压测方面做过多年尝试,本文转载京东商城基础平台技术专家文章,介绍其最新的自动化压测 Force ...

  9. JMeter分布式压测实战（2020年清明假期学习笔记）

    一.常用压力测试工具对比 简介:目前用的常用测试工具对比 1.loadrunner 性能稳定,压测结果及颗粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多. 2.Apache ab(单接口 ...

  10. Loadrunner11简单压测接口教程

    一.需求 使用Loadrunner压测目标接口,要求支持1000并发数. 目标接口:https://www.xxx.com/digitaldata/api/signer/1.0/signerRegis ...

随机推荐

  1. 第四課-Channel Study File Reader & File Writer

    示例描述:从数据库中读取数据并过滤转换为HL7并存放到指定目录;然后读取目录中的HL7文件转换为txt文本并存放到指定目录. 首先在F:\MirthConnect\Test目录下创建Out目录存放输出 ...

  2. 剑指offer39(Java)-数组中出现次数超过一半的数字（简单）

    题目: 数组中有一个数字出现的次数超过数组长度的一半,请找出这个数字. 你可以假设数组是非空的,并且给定的数组总是存在多数元素. 示例 1: 输入: [1, 2, 3, 2, 2, 2, 5, 4, ...

  3. 第 4章 用 CSV 和 Excel 存储数据

    第4章 用 CSV 和 Excel 存储数据 4.1 用 CSV 文件存储数据 CSV(Comma-Separated Values)其实就是纯文本,用逗号分隔值,可以分隔成多个单元格.CSV 文件除 ...

  4. 阿里云 ACK One 多集群管理全面升级：多集群服务、多集群监控、两地三中心应用容灾

    简介: 本文介绍了 ACK One 近期发布的 3 个主要特性,覆盖了多集群管理的 3 个主要场景,跨集群服务发现与访问.多集群全局监控.应用容灾.除多集群管理外,ACK One 更是支持连接并管理任 ...

  5. 如何使用Delta Lake构建批流一体数据仓库

    ​简介:Delta Lake是一个开源存储层,它为数据湖带来了可靠性.Delta Lake提供了ACID事务.可扩展的元数据处理,并统一了流式处理和批处理数据处理.Delta-Lake运行在现有数据湖 ...

  6. 如何将实时计算 Flink 与自身环境打通

    简介: 如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 客训练营产品.技术专家齐上阵,从 Flink的发展. Flink 的技术原理.应用场景及行业案例,到开源Flink功能介绍 ...

  7. [Go] flag package 指南: 命令行参数标记的解析

    flag 是 Golang 的官方包. 支持用法有三种,不同之处是二三两种用法是 Var() 函数可以绑定 flag 到一个变量上. 直接调用指定类型的函数有多种,如 flag.String(), B ...

  8. dotnet 6 命令行 cmd 设置输出英文解决中文乱码

    我遇到在部署 CI 服务器,执行 cmd 命令构建,输出的中文是乱码.我期望让 dotnet 命令行输出使用英文解决乱码问题.通过设置 dotnet 命令行的语言文化,即可解决此问题 给 dotnet ...

  9. Microsoft.Maui.Graphics.Skia 使用 DrawString 绘制文本的坐标问题

    本文记录使用 Microsoft.Maui.Graphics.Skia 的 DrawString 进行绘制文本,不同的重载方法绘制的文本的坐标不同的问题 本文开始之前,预期已经准备好了环境和基础项目, ...

  10. 让 KEPServer 变成一款 Web 组态软件

    ​KEPServerEX是行业领先的连接平台,用于向您的所有应用程序提供单一来源的工业自动化数据.该平台的设计使用户能够通过一个直观的用户界面来连接.管理.监视和控制不同的自动化设备和软件应用程序. ...