0.优化:http://dongxicheng.org/mapreduce/hadoop-optimization-0/ http://dongxicheng.org/mapreduce/hadoop-optimization-1/ 1.各个节点的配置文件的内容要一致:core|hdfs|mapred|yarn-site.xml.修改一个的节点的配置文件内容后,集群中所有的节点要同步修改,报错的原因大部分是由于节点之间配置文件不一致导致! 2.修改完配置文件后要重启hdfs或yarn服务. 3.…

1.开发经验总结  ——12 Sep 2014 · 8 revisions 在jstorm中, spout中nextTuple和ack/fail运行在不同的线程中, 从而鼓励用户在nextTuple里面执行block的操作, 原生的storm,nextTuple和ack/fail在同一个线程,不允许nextTuple/ack/fail执行任何block的操作,否则就会出现数据超时,但带来的问题是,当没有数据时, 整个spout就不停的在空跑,极大的浪费了cpu, 因此,jstorm更改了stor…

Elasticsearch运维经验总结 2018年12月10日 16:38:41 运小白 阅读数 3811   版本说明:5.6.4(要严格注意ES及其插件.第三方工具的版本匹配关系) 系统负载:(日志集群,日均写入10TB,保留7天) 1,出于高可用的考虑,同一个分区的多个副本不会被分配到同一台机器 如下截图所示,Index:queries,设置20副本,5分片.这个集群当前有14个可用数据节点,queries的0分区在这14个数据节点上均有且仅有一个副本,剩余​​的7个副本显示UNASSIG…

http://www.qconbeijing.com/download/Nicolas.pdf 重点看了下facebook做了哪些改进以及他们的运维经验,比较重要的有以下几点: 改进: 1 加强了行级的ACID约束 2 改善了数据的分布规则,可以配置hdfs的replicas所在节点 3 改写了master的assign规则,利用zk来进行assign 4 不用停机地重启cluster 5 改进了compaction策略 6 批量查询的优化 7 对压缩进行了改进 运维经验: 1 事先切分好的re…

一个兼职DBA的数据库运维经验 小米科技  xx@xiaomi.com 2011 内存扩容 16G->64G ,调大bp后,凌晨说监控物理内存有余量情况下,开吃swap,内存泄露措施1  定时 echo 1 >/proc/sys/vm/drop_caches  页面缓存措施2 下次mysql实例重启期间,numactl --interleave=all  mysqld &  启动mysql时候关闭numa特性 ulimit允许coreulimit -c  最大的core文件大小,以bl…

http://slaytanic.blog.51cto.com/2057708/1038676 Hadoop运维记录系列(一) Hadoop运维记录系列(二) Hadoop运维记录系列(三) Hadoop运维记录系列(四) Hadoop运维记录系列(五) Hadoop运维记录系列(六) Hadoop运维记录系列(七) Hadoop运维记录系列(八) Hadoop运维记录系列(九) Hadoop运维记录系列(十) Hadoop运维记录系列(十一) Hadoop配置项整理(mapred-site.x…

转自:http://www.juvenxu.com/2015/03/20/experiences-on-zookeeper-ops/ ZooKeeper 运维经验 ZooKeeper 是分布式环境下非常重要的一个中间件,可以完成动态配置推送.分布式 Leader 选举.分布式锁等功能.在运维 AliExpress ZooKeeper 服务的一年多来,积累如下经验: 1. 集群数量 3台起,如果是虚拟机,必须分散在不同的宿主机上,以实现容灾的目的.如果长远来看(如2-3年)需求会持续增长,可以直接…

简单记录几个hdfs的运维命令 //查看hdfs的状态,是否有missing block,corrupt block等,也可以看datanode的状态 hdfs dfsadmin -report //查看hdfs根目录下是否有文件处于missing,currupt状态,而且不是under replica的 hadoop fsck / | egrep -v '^\.+$' | grep -v eplica //查看某个文件中,包含的block hadoop fsck /path/to/corrup…

原文: http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=207132223&idx=1&sn=f5d98146f28235d91fe3e675cead4ce5&scene=1&key=c76941211a49ab58058d73eaffa6e940a8545c66f8e80de85e1684bfae3d6a6bc86ae97b552146a5cc18f571240dc78b&ascene=0&…

转自:http://www.juvenxu.com/2015/03/20/experiences-on-zookeeper-ops/ ZooKeeper 是分布式环境下非常重要的一个中间件,可以完成动态配置推送.分布式 Leader 选举.分布式锁等功能.在运维 AliExpress ZooKeeper 服务的一年多来,积累如下经验: 1. 集群数量 3台起,如果是虚拟机,必须分散在不同的宿主机上,以实现容灾的目的.如果长远来看(如2-3年)需求会持续增长,可以直接部署5台.ZooKeeper集…