观察 pinpoint hbase 数据存储目录default中各个表的大小 TraceV2 15G ApplicationTraceIndex 15G major_compact的操作目的 合并文件 清除删除.过期.多余版本的数据 提高读写数据的效率 604800 2day describe 'TraceV2' disable 'TraceV2' alter '} enable 'TraceV2' disable 'TraceV2' major_compact 'TraceV2' enable…

什么是 RAID 磁盘阵列全名是『 Redundant Arrays of Inexpensive Disks, RAID 』,容错式廉价磁盘阵列. RAID 可以通过一些技术(软件或硬件),将多个较小的磁盘整合成为一个较大的磁盘设备: 而这个较大的磁盘功能可不止是储存而已,他还具有数据保护的功能呢.整个 RAID 由亍选择的等级 (level) 不同,而使得整合后的磁盘具有不同的功能, 基本常见的 level 有这几种(注1): RAID-0 (等量模式, stripe):效能最佳 这种模式如…

最近公司为方便tracing.排查, 搞全链路日志收集,而我手上的10亿+pv的动态前端服务必然在考虑之列. 之前呢. 都是运维定制的收集方式: 如上图,rsyslog push kafka, 优点嘛: 稳定,肯定不会丢日志: 报点也很明显:性能差,IO略高,毕竟疯狂flush disk,不带buffer的. 最担心的一点是我目前是抽样1/5的mc/redis/curl等日志量, 如果按公司要求,最好收集100%的日志,那么IO得天天报警,(我们是0.8*cpu数),而且磁盘空间即使每天清理也不…

摘要:[原创]转载请注明作者Johnthegreat和本文链接 由于虚拟机空间不足,为了避免重装虚拟机,做了一次无损扩容.   过程中的报错如下: [root@localhost ~]# pvcreate PV /dev/sda3 Device PV not found. Device /dev/sda3 not found. [root@localhost ~]# resize2fs /dev/cl/root resize2fs 1.44.6 (5-Mar-2019) resize2fs: B…

  现象:  用了几天vagrant后,发现docker 里的 Mysql5.7 服务无法启动,用docker ps 命令,发现mysql一直在反复重启, 查看mysql log 发现说磁盘空间不够, 导致mysql无法启动. 觉得很奇怪, docker里只安装了redis和mysql两个image, 也没用几天mysql, 怎么会40G的空间都满了?   于是一通百度查找, 都说是mysql日志过多,但是一个一个目录的用df -sh * 和 df -h 查看, 发现日志log并不大. 进一步查…

接今早的mysql问题,最终原因是mysql数据库的数据库文件以及pid丢失,当我还纳闷为什么丢失的情况下 我研究了下Azure云平台的数据磁盘原理,在Azure下,新建vm(centos)后只会提供一个30g的系统盘,已经一个 596的tmp盘,也就是临时系统磁盘,并且该磁盘挂载的位置为/mnt/resource/,在该目录下有一个数据存储警告 大概的意思就是告诉你这个是一个临时数据盘,不建议存储数据,不可恢复,今早mysql的根本原因就在于当时不熟 mysql的运维人员直接利用了这个596g…

双休日回家pull在公司修改的代码...于是菜鸟的linux探索之路开始了 1.df -f发现磁盘又占满了(之前是node的error) 2.发现maillog整整10个G,无数条(Jul 7 04:08:15 tangxu postfix/error[4318]: B1612103F04: to=milalavertu@hotmail.com, relay=none, delay=361517, delays=361504/14/0/0, dsn=4.4.3, status=deferred…

第一步 在vmware中将虚拟机关机后,鼠标右键设置,直接点击扩展加自己想要扩展的数量就可以了,这个比较简单不多说. 2 第二步 设置后进系统查看空间大小变化,实际并没有什么变化,我用的命令是df -h,我就蒙B了,上网一顿找,总算找到一个靠谱点的文章,但文章后半部分不对,我又结合另一个文章实现了这个针对centos版本的扩容,来吧,上操作. 开始真正的操作1,执行命令:lsblk 进行查看 ,发现我在虚拟机中扩展的空间在sda中,综合各种说法,说白了就是这个sda并没有进行分区,所以现在这块的…

这篇文章从AssetBundle的打包,使用,管理以及内存占用各个方面进行了比较全面的分析,对AssetBundle使用过程中的一些坑进行填补指引以及喷!   AssetBundle是Unity推荐的资源管理方式,官方列举了诸如热更新,压缩,灵活等等优点,但AssetBundle的坑是非常深的,很多隐藏细节让你使用起来需要十分谨慎,一不小心就会掉入深坑,打包没规划好,20MB的资源“压缩”到了30MB,或者大量的包导致打包以及加载时的各种低效,或者莫名其妙地丢失关联,或者内存爆掉,以及各种加载失…

近日西安的天气很不错,可是看到从其他地方迁移来的主机在新环境下无法远程调试怪郁闷的,这就需要填坑,要不就会给后来者挖更大的坑. 今天遇到的坑是在IPMI的网络设置里面启用了VLAN标签之后,在新环境下IPMI直接失灵的问题. 由于时间原因,当时迁移的时候直接就断电了,很中国的理念是不——就是要快,先不看结果. 原有的环境是vSphere ESXi 4.1的操作系统,配置好IP之后可以通过vSphere Client去管理他,服务器是Supermicro的. 传统方式解决此问题需要还原出一个原有的…

不看废话,直接跳到操作说明 前几日心血来潮想把家中的旧笔记本换成Linux操作系统,算是在业余生活中正式投入Linux的怀抱.说干就干,发行版选择了Ubuntu,下载了Ubuntu16.04的ISO,下载软碟通,制作成U盘启动.恩,重启电脑,U盘引导,进入安装界面. 恩,安装界面挺炫酷啊,还检测到硬盘中安装的Win8,恩,问我是与其他系统共存还是清除并安装,既然都正式投入怀抱了,肯定只安装Ubuntu啊,Win8,拜拜了,恩,选第二个.下图是网上找的.请注意第二个选项的注意:..算了,我就是看到…

Kafka 0.9版本对java client的api做出了较大调整,本文主要总结了Kafka 0.9在集群搭建.高可用性.新API方面的相关过程和细节,以及本人在安装调试过程中踩出的各种坑. 关于Kafka的结构.功能.特点.适用场景等,网上到处都是,我就不再赘述了,直接进入正文 Kafka 0.9集群安装配置 操作系统:CentOS 6.5 1. 安装Java环境 Zookeeper和Kafka的运行都需要Java环境,所以先安装JRE,Kafka默认使用G1垃圾回收器,如果不更改垃圾回收器…

.markdown-preview:not([data-use-github-style]) { padding: 2em; font-size: 1.2em; color: rgb(171, 178, 191); overflow: auto; background-color: rgb(40, 44, 52) } .markdown-preview:not([data-use-github-style])>:first-child { margin-top: 0px } .markdown-…

转自:http://www.cnblogs.com/ybgame/p/3973177.html 这篇文章从AssetBundle的打包,使用,管理以及内存占用各个方面进行了比较全面的分析,对AssetBundle使用过程中的一些坑进行填补指引以及喷!   AssetBundle是Unity推荐的资源管理方式,官方列举了诸如热更新,压缩,灵活等等优点,但AssetBundle的坑是非常深的,很多隐藏细节让你使用起来需要十分谨慎,一不小心就会掉入深坑,打包没规划好,20MB的资源“压缩”到了30MB…

http://ju.outofmemory.cn/entry/237491 Overview 最近一段时间都在搞集群迁移.最早公司的hadoop数据集群实在阿里云上的,机器不多,大概4台的样子,据说每个月要花7000多.从成本的角度,公司采购了4台2手服务器(E5-2420 v2 * 2+96G内存)在办公室自己搭数据集群.虽然说机房条件艰苦,没空调就算了,还有暖气呢,但是机器还是挺不错的,比阿里云32G的的机器强多了,4台大概2万,还不够阿里云烧3个月的,理论上只要能用3个月就已经很划算了.…

原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=208733458&idx=1&sn=691bfde670fb2dd649685723f7358fea&scene=1&key=c76941211a49ab58cb17c68ecaeeda0f1c083d9508a0f6629461fff9025fd87de4706bd9c1730e0ddbab70568b34b16a&ascene=0&…

0.写在前面 本文涉及到屏幕密度的讨论,这里先要搞清楚 DisplayMetrics 的两个变量,摘录官方文档的解释: density:The logical density of the display. This is a scaling factor for the Density Independent Pixel unit, where one DIP is one pixel on an approximately 160 dpi screen (for example a 240x…

docker是最近很流行的部署方式,最近尝试之前的项目都转移到docker上运行,下面是碰到的一些坑和解决方案. 网络问题 因为国内的原因,docker pull 镜像的时候经常碰到连不上或者速度极慢的情况. 这部分可以使用 国内流行的  daocloud 的方案解决 ,使用dao pull代替docker pull ,如果是自行构建,可能需要使用代理或者直接在国外主机build,再打包传回来. 时间同步 hub.docker.com上的镜像,包括自己构建的,基本上都是以utc时区作为默认时区,…

对于Oracle运维中的那些事儿,我的最终目的:不是比谁更惨,而是能够从中吸取经验和教训. 从我的理解来看,我会从下面的几个方面来进行说明DBA运维中的一些事儿. 每个部分都是非常关键的,缺一不可,而且每一部分都有很多的东西可以细化,我会逐一展开来说. (一)环境篇 首先来说说环境篇. DBA的角色及分工 对于DBA的分工,以前的公司对于DBA角色划分粒度还是很细的. 大体是按照核心和客户化定制层来划分的,核心层主要负责产品化,客户化层面主要负责定制.属于不同的产品线但又彼此紧密关联. Phys…

http://dearymz.blog.163.com/blog/static/20565742013341916919/ 编辑器: Hierarchy窗口中是场景中的Game Object列表 Project窗口中是磁盘上Assets文件夹中的内容,可用来创建Game Object 调试: 调试用Debug.Log()或者print函数打日志 目前完全无法采用VisualStudio进行调试,只能用MonoDevelop.因Unity采用的是Mono运行时引擎而不是CLR,参考Debuggin…

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/5638232.html 参考网址: http://jingyan.baidu.com/article/f3e34a128ea5acf5eb653538.html 1. 具体安装过程就不说了,安装完win8.1后,安装ubuntu,之后在win中,安装EasyBSD,之后在“添加新条目”中,选择linux,类型为GRUB 2,名称随便写,驱动器选择自动定位和加载 就可以了. 之后查看设置里面: 也可以设…

最近两个星期一直在琢磨kvm安装window10操作系统,并且通过桥接模式与外界通信,经历了九九八十一难,终于搞定.下面就记录以下我们在探索的过程中踩过的坑. 安装KVM 1. 系统要求:需要一台可以运行最新linux内核的intel处理器(含VT虚拟化技术)或者AMD处理器(含SVM安全虚拟化技术的AMD处理器,也可以叫AMD-V).(如果没有配置可以在BIOS中进行配置) 使用命令进行检查: [root@corehadoop31 ~]# cat /proc/cpuinfo |egrep "v…

原创文章,谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了,2.x宣称有诸多的性能改进,相信不少使用Spark的同学还停留在1.6.x或者更低的版本上,没有升级到2.x或许是由于1.6相对而言很稳定,或许是升级后处处踩坑被迫放弃. Spark SQL是Spark中最重要的模块之一,基本上Spark每个版本发布SQL模块都有不少的改动,而且官网还会附带一个Migration Guide帮忙大家升级.问题在于Migration Guide并没有详尽的列出所有变动,本…

###### 记一些坑```//phpfpm配置pm.max_children = 最大并发数详细的答案:pm.max_children 表示 php-fpm 能启动的子进程的最大数量.因为 php-fpm 是多进程单线程同步模式,即一个子进程同时最多处理一个请求,所以子进程数等于最大并发数.但是实际使用中一般不用考虑,因为php默认配置为动态均衡的子进程管理,不用手动设置这些配置.``````//日志调试方法/** * 超级调试 * * 调试非本地环境或分布式环境,通过Log查看变量传递 *…

1.Linux 分区简介 1.1 主分区 vs 扩展分区 硬盘分区表中最多能存储四个分区,但我们实际使用时一般只分为两个分区,一个是主分区(Primary Partion)一个是扩展分区(extended partition),主分区可以马上被使用但不能再分区,扩展分区必须再进行分区后才能使用,也就是说它必须还要进行二次分区.那么由扩展分区再分下去的是什么呢?它就是逻辑分区(Logical Partion),逻辑分区没有数量上限制. 1.2 驱动器标示的含义 对习惯于使用Dos或Windows的…

Ubuntu16.04作为目前最新版本的ubuntu系统,相信很多人都想在自己的电脑上安装一下,然而系统的安装方法各式各样,u盘法.grub引导法等等,这里我将介绍在win7系统下用easyBCD软件建立引导,然后安装ubuntu的方法,这就不需要制作u盘启动盘那么麻烦,只需配置一些引导文件即可. 一.环境和工具准备 1.win7系统 2.ubuntu16.04系统镜像文件 3.easyBCD 2.2 二.前期准备 1.在网上下载ubuntu-16.04-desktop-amd64.iso,同时…

本文将介绍如何使用虚拟机一步步从安装Ubuntu到搭建Hadoop伪分布式集群. 本文主要参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 一.所需的环境和软件:(以下是我们的环境,仅供参考) 1. 操作系统:Windows 10 64位 2. 内存:4G以上(4G 可以搭建,不过虚拟机的运行可能会比较慢,这种情况可以考虑双系统) 3. VMware Workstation 12:VMware-workstation-full-12.5.7-5813…

title: 安全平台迁移 tags: 新建,模板,小书匠 grammar_cjkRuby: true --- 前言 主要有三个坑: 一是如果原先虚拟机没有安装virtio驱动,要设置设备驱动为ide, 二是cinder要配置glance_api_version的值为v2,上传的镜像需要时raw格式 三是迁移前后最好保持ip和主机名不变,这样对业务的影响最小 基础信息 给我们以下文件: anquanpingtai-win2008r2-10.100.100.110.ova 解压后得到: anqua…

一.问题概述 在一个多月前,组长让我研究下持续集成.我很自然地选择了jenkins.当时,(包括现在也是),部分服务器用的是windows主机. 我当时想了想,如果我把jenkins装在windows上,在windows上打好包后,要怎么把war包或jar包(针对spring boot项目)传到remote windows主机上呢? 传过去之后,要怎么把这个包运行起来呢(比如war包丢tomcat,重启tomcat:比如怎么用java运行spring boot项目),运行肯定是用脚本(bat),…

今天用“web发布平台”发布测试的服务,两个节点中发现有一个节点没有发布成功,压测TPS始终上不去,排查后发现只有一个节点在打日志,另一个节点的服务进程都没有在运行,由此断定应该是没有发布成功,有点坑的是发布平台上的发布记录是SUCCESS的,打开发布日志后才看到有一个节点是发布失败的. 从错误日志中发现报错的关键字“IO”,应该就是磁盘空间满了造成的,查看磁盘空间的命令之前用过,但是这次要删除的log中包含了很多子目录和文件,有些可以删除,有些是需要保留的,这样就需要分别查看子目录和文件的大小…