来自:http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html 这几天由于杭州集群处于升级过度时期,任务量大,集群节点少(4个DN),集群不断出现问题,导致flume收集数据出现错误,以致数据丢失. 出现数据丢失,最先拿来开刀的就是数据收集,好嘛,先看看flume的错误日志: [php]Caused by: java.io.IOException: Failed to add a d
转自 http://blog.csdn.net/bigdatahappy/article/details/41726389 转这个目的,是因为该贴子中调优思路不错,值得学习 搜索推荐有一个job,1000多个map,200个reduce,运行到最后只剩一个reduce(10.39.6.130上)的时候,出现以下异常,导致job失败: 2014-12-04 15:49:04,297 INFO [main] org.apache.hadoop.mapred.Merger: Down to the
FMDB使用SQLite事务Save Point 在SQLite中,事务提供了批量处理,批量撤销的功能.当批量操作中有一步无法完成操作,就会把执行过的语句都撤销,恢复到撤销前的状态.但是由于SQLite不支持事务嵌套,所以用户不能直接完成复杂的事务.不过,SQLite提供了保存点Save Point机制.用户可以在事务中添加保存点,然后根据情况,回滚到指定的保存点,并可以重新执行保存点之后的代码.这样,通过保存点机制,可以变相实现事务嵌套. 为了满足开发者需要,FMDB在FMDataba