Linux配置 ElasticSearch

一、什么是ElasticSearch？

一、什么是ES？
        ES是一个分布式使用RestFul风格的数据搜索引擎，并且ES是构建在Lucene框架之上，也就是说ES也是基于Lucene进行开发的搜索引擎框架
    /*    ES三大核心:
            Index
                相当于关系型数据库中的库
            Type
                相当于关系型数据库中的表
            Document
                相当于关系型数据库中的表数据
    */

    ！！！6.ES是基于Lucene开发的，但是Lucene和ES都是搜索引擎框架
        什么时候使用ES
        什么时候使用Lucene

    //    Lucene和ES的区别是什么？
            Lucene只是一个搜索架构，不能直接使用，如果需要使用Lucene则需要自己添加代码来实现搜索模块，也就是说必须要根据公司的业务逻辑来进行编码搜索代码
            ES已经把这些代码全部实现了(在Lucene基础上实现的)，可以直接使用不再需要添加任何和架构有关的代码

        Lucene是当公司的需求比较繁琐，而且ES无法满足的时候才需要自己去编写Lucene的架构代码实现搜索功能，但是学习成本比较高
        ES几乎支持了市面上中小型企业的搜索需求，只要公司的业务搜索需求可以用ES来实现，就直接可以使用，不需要再自己对Lucene进行编码，实现起来非常简单，不需要学习成本，直接调用API就可以

二、如何在Linux上配置ElasticSearch?

二、ES的配置？
    ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。
    ES是apache公司的，所以必须要配置jdk
    ES不要用最新版，因为ES的最新版必须要求jdk在11版本以上
    但是目前市面上所有的公司全部都在jdk8或者以下

        1.在linux上配置ES

        2配置jdk
            也可以从之前配置过的虚拟机中copy过来。。。

        3从官网中下载ES

        4.解压es的压缩包
            tar -zxvf es....
                ！！！！！从3.4--->3.6不要求手动输入，推荐使用复制粘贴！！！！

        5.使用系统用户 修改一些配置。。。

        6.增大linux上部署软件的内存和硬盘
            以下的配置一定要使用root用户(root的权限是最大的)，否则没有权限或者配置不生效
            (不要求手写，直接复制即可)

            //使用root用户 配置 

        7    vim /etc/security/limits.conf
            /*
                vim /etc/security/limits.conf

            */

            配置了某个用户/某些用户对软件的内存和硬盘使用权限
    /*        * soft nproc 655350
            * soft nofile 655350
            * hard nproc 655350
            * hard nofile 655350
        */

8最大线程数
        (ES一般情况是以集群启动，所以目前的用户无法满足ES所要创建的线程，所以需要加大线程数)
        这里只是配置系统可容纳最大的线程数，默认系统都有自动保护，不会开启很大的线程数，需要手动修改

            vim /etc/sysctl.conf
        /*
            vim /etc/sysctl.conf

            vm.max_map_count=262144
        */
        

        9配置用户最大的线程数
            vim /etc/security/limits.d/90-nproc.conf
        /*
            vim /etc/security/limits.d/90-nproc.conf
            vim /etc/security/limits.d/90-nproc.conf
            vim /etc/security/limits.d/90-nproc.conf
            vim /etc/security/limits.d/90-nproc.conf

        */    

            需要把* 1024--->4096

10.使修改永久生效。
　　　　sysctl -p
                

    启动     ./elasticsearch  需要切换用户  

    11创建用户的命令：
    /*
        adduser 名字
        passwd   

        useradd 名字
        passwd 

    */

    12.给用户授权的命令:
    //        chown -R esuser  /home/apps/elasticsearch-6.4.0/
    /*
        chown -R esuser 需要授权的路径

        chown -R esuser /home/apps/elasticsearch-6.4.0/
        chown -R esuser /home/apps/elasticsearch-xxxx
        chown -R esuser /home/apps/elasticsearch-xxxx

    */

    ！！！注意一定要给用户授权 ，否则会报错

    你如果想要用esuser  用户登录   就需要给他赋予权限。。。。
    需要对 esuesr 用户进行授权的操作。。。

    13.切换用户 ? 为什么？
    1.ES为了自我保护，不让使用root用户启动，因为root用户权限过大，容易修改ES自己配置
        /*
            su 需要切换的用户名。
            su esuser
            su haha
            su xixi

        */
    14直接启动es
            在bin目录
            ./elasticsearch
            报错！！！！  

    15修改elasticSeach.yml配置文件即可

    //在conf
            # 修改集群名字(名字随便起，没有什么意义)
            cluster.name: my-cluster

            # 如果是单节点(名字随便起，如果是集群则不能重复)
            node.name: node-1

            # ES所存放数据的位置(默认data目录不存在，需要自己手动创建  mkdir data   cd data  pwd 获得路径！)
            path.data: /home/apps/elasticsearch-6.4.0/data

            # ES的日志存放目录(默认已经存在，直接使用即可，不需要创建)
            path.logs: /home/apps/elasticsearch-6.4.0/logs

            # 放开ES的内存锁，让ES直接拥有最大内存使用权
            bootstrap.memory_lock: false

            # centos6中没有CONFIG_SECCOMP_FILTER，但是centos7中有，如果linux系统为centos6则需要关闭过滤
            bootstrap.system_call_filter: false

            # ES的主机地址(一旦配置的是0，就是代表所有的电脑都可以连接(对连接不再造成任何限制))
            network.host: 192.168.23.136(0.0.0.0)

            # ES的默认端口号(./elasticsearch -d(启动的是ES的控制台))
            http.port: 9200

            # 识别其他的集群host(如果为单节点只需要写一个)
            discovery.zen.ping.unicast.hosts: ["192.168.132.141"]

            多个的写法。。。
            discovery.zen.ping.unicast.hosts: ["192.168.23.136","",""]

    16.启动ES
            进入bin目录
            ./elasticsearch
        /*
            ./elasticsearch
            ./elasticsearch
            ./elasticaearch

        */    

    3.11.浏览器中检测是否启动成功
            使用浏览器访问ip:端口号
            http://192.168.132.141:9200/
            {
              "name" : "node-1",
              "cluster_name" : "my-cluster",
              "cluster_uuid" : "UmoHkEZzReGQMrrLShhDIQ",
              "version" : {
                "number" : "6.4.0",
                "build_flavor" : "default",
                "build_type" : "tar",
                "build_hash" : "595516e",
                "build_date" : "2018-08-17T23:18:47.308994Z",
                "build_snapshot" : false,
                "lucene_version" : "7.4.0",
                "minimum_wire_compatibility_version" : "5.6.0",
                "minimum_index_compatibility_version" : "5.0.0"
              },
              "tagline" : "You Know, for Search"
            }

    4.    关闭 elasticsearch 进程？
        4.1 查找es 的进程号
        //    ps -ef |grep elastic

        ps -ef |grep elastic
        kill -9 7167

        // kill -9 5866(端口号)

        4.2 重启？
            在 bin目录下 执行命令
            sh elasticsearch -d
            

五、配置ES所遇到的问题:

1.ES为了自我保护，不让使用root用户启动，因为root用户权限过大，容易修改ES自己配置
        创建新的用户并且授权
        useradd esuser
        passwd esuser ---> 123456

        授权:
            chown -R esuser /home/apps/elasticsearch

    2.因为ES需要消耗非常大的线程数量和内存以及硬盘存储空间
        [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
        [1]:当前启动用户无法对linux系统调动很多的硬盘以及内存存储空间，所以需要自行修改！
        vi /etc/security/limits.conf

        [2]: max number of threads [1024] for user [esuser] is too low, increase to at least [4096]
        [2]：当前启动的用户太low了，无法调动很多的线程(默认只能调动1024)
            vi /etc/secrity/limits.d/90-nproc.conf

        [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
        [3]:需要配置vim /etc/sysctl.conf文件，加大系统默认的总线程数

    3.使用创建出新用户启动没有问题，但是当使用root用户启动一次后，再使用新创建的用户启动就有问题
        新创建的用户无法使用root用户所创建出的文件
        无论是使用哪一个用户启动都会在config文件夹中创建elasticsearch.keystore文件，root用户权限太大，创建的文件其他用户无法使用，所以会报错！

    4.java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled     into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed
        因为最终CONFIG_SECCOMP系统在centos7中默认会被加载，但是在centos6中没有
        需要更换centos的版本
        6---->7
        修改es的配置文件
        在yml配置文件中添加一行数据

        bootstrap.system_call_filter: false

六、附带.SQl语句的调优问题。

1.附带.SQl语句的调优问题。
                    /*
                    1.尽量避免非操作符的使用

                        在索引使用NOT ,<>,会导致索引失效,比如a不等于0 a<>0可以修改为 a>0 or a<0 ,NOT修改为a>0或者a>"",避免全表扫描

                    2.尽量避免使用前导模糊查询,因为前导模糊查询由%,不能利用索引,影响查询效率.

                    3.避免对查询列的操作

                        操作包含:数据库函数,计算机表达式,这样会导致全表扫描

                    4.避免不必要的类型转换

                        这里的类型转换是潜在的类型转换,比如将字符串与数字类型比较,这样会将字符串进行转换,导致全表扫描.

                    5.增加查询范围的限制

                        少使用*,

                    6.合理使用in与exists

                        exists是循环的方式,外表记录数代表循环的次数,外表的记录少,适合用它.

                        in先执行子查询,子查询去重之后,然后在执行主查询,子查询返回结果越少,越适合这种方式.

                        如果两张表数据一样大,那么用in和exists差别不大,但是如果不一样大,子查询小的用in,主查询小的用exists.

                    7.规范所有关键字的书写,select ,update,delete,要么全大写要不全小写
                    */