站内搜索（ELK）之数据目录

在使用elasticsearch建设站内搜索时，随着数据不断丰富，为了数据管理更加精细化，必须建立并实时维护“数据目录”（在程序设计中对应的叫法“数据字典”）。

数据目录需要包含以下几个维度：数据名称、数据分类、数据来源、数据状态、数据量、数据抽取用时、索引时间、操作阶段等。

数据名称：必须要为各类数据名称的命名定义一个标准，在前期阶段，即使是个简易的标准，也比没有标准强万倍，在后续建设中，再不断丰富标准的内容。

数据分类：业务数据、流程数据、消息队列、临时数据、人员数据、权限数据等。

数据来源：具体到项目实际，可分为生产系统、在线归档系统、离线归档系统、共享文件存储空间、外围系统、公网。

数据量：便于数据流处理过程中各个环节数据核对、历史对照、后续工作评估。

数据抽取用时：用于后续工作评估

索引时间：记录时间。

操作阶段：数据评估阶段、数据清洗阶段、数据核对阶段、数据转换阶段、最终阶段等。