日志是从logstash传输给ES的,但是logstash配置中只能配置host和index,所以只能在es中进行配置 但是在es配置文件中配置,也就是新增如下参数的话会报错:node settings must not contain any index level settings index.number_of_shards: 1 index.number_of_replicas: 0 所以采用索引模板的方式进行设置 POST /_templates/index_patterns { "o

Ubuntu 18.04 磁盘根目录在线扩容 & 修改分区 inode 数量   Ubuntu 作为服务器系统使用的时候,系统盘的空间可能并不是很充裕,apt apt 着,根目录就满了.诚然,增加磁盘 / 分区并挂载是一个方案,但并不能解决所有问题(例如 apt).同时,一些跑在云平台上的服务器并没有很好的离线操作磁盘的手段,这时候在线扩容就显得极为必要了. 数据无价!对磁盘进行任何操作前,请务必做好备份! 1. 磁盘根目录在线扩容 操作环境:Proxmox VE 虚拟化 / Ubuntu 18

搜索引擎 升级 Elasticsearch 集群数量实战记录 现在线上有一个elasticsearch集群搜索服务有三台elasticsearch实例(es1.es2.es3),打算将其升级为5台(增加es4.es5).这篇文章主要是对整个操作的过程记录,以及出现的问题总结,包括移动数据量所需要的时间.因为,一开始由于不知道线上数据量全部分配完需要多少时间,如果从凌晨开始操作,到早上8点都还没有同步完,这样会影响到白天线上业务的正常使用. 准备阶段 线上es集群使用的是阿里云服务器,copy其中

1.增加一个分区ALTER TABLE sales ADD PARTITION jan96 VALUES LESS THAN ( '01-FEB-1999' ) TABLESPACE tsx;增加一个列表分区ALTER TABLE q1_sales_by_region ADD PARTITION q1_nonmainland VALUES ('HI', 'PR') STORAGE (INITIAL 20K NEXT 20K) TABLESPACE tbs_3 NOLOGGING;2.合并分区 a

spark 2.1.1 spark初始化rdd的时候,需要读取文件,通常是hdfs文件,在读文件的时候可以指定最小partition数量,这里只是建议的数量,实际可能比这个要大(比如文件特别多或者特别大时),也可能比这个要小(比如文件只有一个而且很小时),如果没有指定最小partition数量,初始化完成的rdd默认有多少个partition是怎样决定的呢? 以SparkContext.textfile为例来看下代码: org.apache.spark.SparkContext /** * Re

RDD.getNumPartitions()方法可以获得一个RDD分区数量, 1.默认由文件读取的话,本地文件会进行shuffle,hdfs文件默认会按照dfs分片来设定. 2.计算生成后,默认会按照executor-number*executor-cores来分片,也就是spark默认按照总工作核数来对数据分片,而不是工作实例数. RDD.repartitions(n:Int)和RDD.coalesce(n:Int,shuffle : Boolean) 都是对RDD进行重新分区. 源码实现上:

实现修改商品的数量: 加入的代码: css: .clear-btn{ text-align: right; padding-right: 10px; } .table-warp a{ text-decoration: none; } HTML: <td style="display: flex;"> <a style="flex: 0.5;" href="#" @click.prevent="item.num--&qu

修改分区就行了val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))#  查看分区数rdd1.partitions.length# 改成1个分区val rdd2 = rdd1.repartition(1)rdd2.partitions.length

查看硬盘UUID: 两种方法: ls -l /dev/disk/by-uuid blkid /dev/sda1 修改分区UUID: 1.修改分区的UUID Ubuntu 使用 uuid命令 生成新的uuid centos 使用uuidgen命令 生成新的uuid Ubuntu sudo uuid | xargs tune2fs /dev/sda1 -U centos sudo uuidgen | xargs tune2fs /dev/sda1 -U 2.查看/etc/fstab 将原有UUID写

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据

Elasticsearch修改分词器以及自定义分词器 参考博客:https://blog.csdn.net/shuimofengyang/article/details/88973597

公司线上在用partition,有一个表的分区字段错了,需要重建,结果发现没有办法像修改主键字段或者修改索引字段那样直接一条sql搞定.而是需要建临时表,有down time,所以去仔细看了文档,研究下partition的细节问题. 自己公司线上采取的时候,凌晨1点业务低峰期,执行: 建立临时表 CREATE TABLE tbname_TMP (     SHARD_ID INT NOT NULL,     ... xxx_DATE DATETIME NOT NULL,     PRIMARY

修改 /config/elasticsearch.yml(我的安装目录是:/var/www/elasticsearch-6.4.2/elasticsearch-6.4.2), network.host: 0.0.0.0 但修改后,es启动失败了(注意:elasticsearch 无法用 root 用户启动,请切换到普通用户), Native controller process has stopped - no new native processes can be started 解决办法:

说明: liunx中文件句柄有两种,一种是用户级的,一种是系统级的 文件句柄限制,就是规定的单个进程能够打开的最大文件句柄数量(Socket连接也算在里面,默认大小1024) 1 用户级的修改 1.1 用户级修改临时生效方法 重启后失效 ulimit 命令身是分软限制和硬限制,加-H就是硬限制,加-S就是软限制.默认显示的是软限制,如果运行ulimit 命令修改时没有加上-H或-S,就是两个参数一起改变.硬限制就是实际的限制,而软限制是警告限制,它只会给出警告. ulimit -SHn 1.2

用docker 安装的elasticsearch 5.6版本默认堆内存最大设置的2G 可以通过如下方法修改 [root@nova-92 logs]# find /var/lib/docker/ -name jvm.options /var/lib/docker/overlay2/f394fa1197ace3d592bb37738b95335fc722950c6a39167a0106586f0d2f2382/diff/etc/elasticsearch/jvm.options/var/lib/do

Elasticsearch的mapping一旦创建,只能增加字段,而不能修改已经mapping的字段.但现实往往并非如此啊,有时增加一个字段,就好像打了一个补丁,一个可以,但是越补越多,最后自己都觉得惨不忍睹了.怎么办?? 这里有一个方法修改mapping,那就是重新建立一个index,然后创建一个新的mapping.你可能会问,这要是在生产环境,可行吗?答案是,如果你一开始就采取了合适的设计,这个完全是可以做到平滑过渡的. 采取什么合理设计呢?就是我们的程序访问索引库时,始终使用同义词来访问,

注意:  ElasticSerach 集成 IK分词器 的时候,整个路径不能有空格!!! 1. 文件后加入 严格复制粘贴,否则入坑 http.cors.enabled : true http.cors.allow-origin : "*" node.master : true node.data : true 2.放开network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0(这里如果不修改的话,外网无法访问与是否安装head无关) 3.

通常,mysql的最大连接数默认是100, 最大可以达到16384.1.查看最大连接数:show variables like '%max_connections%';2.修改最大连接数方法一:修改配置文件.推荐方法一进入MySQL安装目录 打开MySQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MySQL即可.方法二:命令行修改.不推荐方法二命令行登录MySQL后.设置新的MySQL最大连接

[elk@zjtest7-redis bin]$ cat elasticsearch.in.sh if [ "x$ES_MIN_MEM" = "x" ]; then ES_MIN_MEM=1g fi if [ "x$ES_MAX_MEM" = "x" ]; then ES_MAX_MEM=1g fi [elk@zjtest7-redis bin]$ ps -ef | grep ela elk 10565 1 65 13:41

命令为:下面也可以单独进行限制,官网说可以设置具体数值,但是无没成功,有成功的大神可以在下面告诉我一下哈 PUT _cluster/settings{ "persistent": { "cluster.routing.allocation.disk.watermark.low": "90%", "cluster.routing.allocation.disk.watermark.high": "95%",#

一:缩小/home空间 1.1:备份/home内容 cp -r /home/* /homebak 1.2:删除挂载/home umount /home 1.3:删除/home所在lv lvremove /dev/mapper/centos-home 1.4:重新创建home的lv lvcreate -L 6G -n home centos   L表示大小,默认单位为M:n表示卷名:这里的centos是CentOS7安装系统的时候就默认建立好的卷组名 1.5:文件系统格式为xfs mkfs.xfs