定期清理cloudera manager server的磁盘空间 1 停止Service Monitor和Host Monitor 2 删除日志 # /bin/rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf# /bin/rm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf 3 重启Service Monitor和Host Monitor 确认新的日志和元数据文件是否生成…

前言 之前也分享过很多工作中踩坑的经验: 一个线上问题的思考:Eureka注册中心集群如何实现客户端请求负载及故障转移? [原创]经验分享:一个Content-Length引发的血案(almost....) 今天再来分享工作中一个真实的案例: 商品评价列表页,显示每条用户的评价详情,为了保护用户隐私,要求显示用户昵称时只能显示第一位和最后一位,其他的用※代替. 例如输入:,输出:*** 看似一个平淡无奇的需求,我也没有太在意.服务端将用户的评论信息存储到db中,评价列表接口就是将数据库中该商品的…

相关命令: 1.查询磁盘空间占用情况df -h2.进入根目录,查询大文件与目录 cd /du -sh * | sort -n 查看上GB的目录并且排序,可以用这个命令du -h --max-depth=1 |grep 'G' |sort3 然后不断执行上面的过程,进入大文件目录,定位大文件并删除4.如果删除大文件,df -h查看磁盘空间并没有释放,那么就是被删除的文件关联的进程还在执行,那么需要我们将相关进程kill掉或重启,可以用这个命令来查看进程lsof |grep delete 详情见Qu…

CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录. 2 Hive Metastore CanaryHive Metastore canary 创建 hue hdfs 主目录失败. 检查: 1)hdfs是否处于safemode,正常是off # hdfs dfsadmin -safemode getSafe mode is OFF 2)hdfs datanode是否健康,…

yarn中有一个比较重要的配置yarn.nodemanager.local-dirs,如果配置的不好,在饱和状态运行下集群会出现很多问题:1 默认配置${hadoop.tmp.dir}/nm-local-dir,系统盘通常只有几百G,配置在这里会经常报磁盘空间不足的错误:2 配置到其中1个数据盘,比如/data0/,这个数据盘会经常没有响应,或者直接坏掉:3 正确的配置是配置到所有的数据盘,通常是12个,其实yarn的description写的很清楚 <property> <descri…

一 对比 存储空间对比: 查询性能对比: 二 设计方案 将数据拆分为:历史数据(hdfs+parquet+snappy)+ 近期数据(kudu),可以兼具各种优点: 1)整体低于10%的磁盘占用: 2)更少的查询耗时: 3)近期数据实时更新: 4)近期数据可修改: 5)kudu集群重启时间降低90%: 6)impala并行scan:scan kudu + scan hdfs: 三 改造方案 利用视图 create view v_table asselect * from parquet_tabl…

1.首先确定是否是磁盘满了 命令:   df -h 参数说明: -a:列出所有的文件系统,包括系统特有的/proc等文件系统 -k:以KB的容量显示各文件系统 -m:以MB的容量显示各文件系统 -h:以人们较易阅读的GB,MB,KB等格式自行显示 -H:以M=1000K替代M=1024K的进位方式 -T:连同该分区的文件系统名称(例如ext3)也列出 -i:不用硬盘容量,而以inode的数量来显示 结果参数说明: Filesystem:代表该文件系统是在哪个分区,所以列出设备名称 1k-bloc…

前言:作为一名程序员,使用MacBook时间久了之后难免都会遇到“磁盘空间不足”的警告,这时就可以清理如下文件夹,一般就可以清理出几十个G的大小! 1.删除“~/资源库/Developer/Xcode/DerivedData/”目录的文件,该目录下的内容是Xcode在编译过程中产生的中间件,并且文件还特别大,在编译完成后能够被删除 2.删除“~/资源库/Developer/CoreSimulator/Devices/”目录的文件,该目录下的内容是Xcode在做模拟器调试时生成的模拟器的数据,如果…

1 首先查询磁盘空间占用情况. 发现/根目录下面磁盘占用百分之一百 df -ah 2 进入根目录,查询大文件与目录 cd /du -sh * | sort -n 查看上GB的目录并且排序,可以用这个命令du -h --max-depth=1 |grep 'G' |sort 3 然后不断执行上面的过程,进入大文件目录,定位大文件 4 最后找到是Tomcat下面logs日志占据了20多G文件,删除,重启Tomcat释放空间…

kerberos安装详见:https://www.cnblogs.com/barneywill/p/10394164.html 一 为CM创建用户 # kadmin.local -q "addprinc scm/admin" 名字和密码任意,后续配置中会使用 二 CM配置过程 1 启用Kerberos 2 全部选中 3 按照/etc/krb5.conf填写 4 5 填写刚才创建的用户名密码 6 下一步 7 下一步 8 可以查看cm创建的用户 # kadmin.local -q 'lis…