hadoop集群之间有时候需要将数据进行迁移,如将一些保存的过期文档放置在一个小集群中进行保存. 使用的是社区提供的功能,distcp.用法非常简单: hadoop distcp hdfs://nn1:8020/foo/bar  hdfs://nn2:8020/bar/foo 加上参数 -i 表示不用去管failure -m 设置map数…

1. 概述 本手册主要介绍了,一个将传统数据接入到Hadoop集群的数据接入方案和实施方法.供数据接入和集群运维人员参考. 1.1.  整体方案 Flume作为日志收集工具,监控一个文件目录或者一个文件,当有新数据加入时,收集新数据发送给Kafka.Kafka用来做数据缓存和消息订阅.Kafka里面的消息可以定时落地到HDFS上,也可以用Spark Streaming来做实时处理,然后将处理后的数据落地到HDFS上. 1.2. 数据接入流程 本数据接入方案,分为以下几个步骤: l 安装部署Flu…

去哪儿 Hadoop 集群 Federation 数据拷贝优化 背景 去哪儿 Hadoop 集群随着去哪儿网的发展一直在优化改进,基本保证了业务数据存储量和计算量爆发式增长下的存储服务质量.然而,随着集群规模的发展,单组 NameNode 组成的集群也到达了新的瓶颈:因为 NameNode 内存使用和元数据量正相关,在 180GB 堆内存配置下,元数据量红线约为 7 亿,而随着集群规模和业务的发展,即使经过小文件合并与数据压缩,仍然无法阻止元数据量逐渐接近红线.而且在性能方面,随着业务的发展,集…

1.背景 部门有个需求,在网络互通的情况下,把现有的hadoop集群(未做Kerberos认证,集群名为:bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证,集群名为zp-tt-hadoop) 如果是两个都没有做安全认证的集群互传文件,使用distcp可以很快实现.在当前情况下,情况可能要复杂一些.通过查阅资料,在cdh的官网上竟然有这么神奇的一个参数可以解决这样的需求.传送门:http://www.cloudera.com/documentati…

案例说明: 生产环境是集群环境,测试环境是集群,现需要将生产环境的数据迁移到测试集群中运行,本文档详细介绍了从集群环境迁移数据的操作步骤,可以作为生产环境迁移数据的参考. 适用版本: KingbaseES V8R6 本案例数据库版本(集群使用相同的版本): test=# select version(); version ----------------------------------------------------------------------------------------…

HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性.可用性和网络带宽的利用率.目前实现的副本存放策略只是在这个方向上的第一步.实现这个策略的短期目标是验证它在生产环境下的有效性,观察它的行为,为实现更先进的策略打下测试和研究的基础. 大型HDFS集群系统往往运行在跨越多个机架的数据中心,不同机架上的两台机器之间的通信需要经过交换机.在大多数情况下,同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大. 通过一个机架感知的过程,NameNode可以确定每个Dat…

添加节点 1,启动2个新的redis-sever, 参照 ( redis 3.0 集群____安装 ),端口号为 7007 和 7008 2,使用命令 redis-trib.rb add-node 命令添加新节点 redis-trib.rb add-node 192.168.10.229:7007 192.168.10.229:7001  ( 第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port  ),结果如下 这时候只是挂到集群里面而已,还没分配 slot 给它, 如下图…

两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务). 先决条件: 1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证 2)Kerberos的REALM分别设置为IDC.COM和HADOOP.COM 步骤如下: 1 配置KDC之间的信任ticket 实现DIDC.CO…

两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务).先决条件:1)两个集群(XDF.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别设置为XDF.COM和HADOOP.COM步骤如下: 1 配置KDC之间的信任ticket 实现DXDF.COM和HA…

上次hadoop集群一块数据盘报警, 提交工单后维修人员更换硬盘 服务器是dell r720的, 8盘位, 蛋疼的是这些硬盘都是做的单盘raid1,维修人员说必须关机导入硬盘才能正常使用 (服务器就这样因为一块硬盘而经常关机???) 没办法关机吧, 重启动时候, 好像系统盘出现问题,无法开机. 我去机房查看了下 感觉是没有识别到系统盘, 直接启用了网络启动程序 对服务器raid配置不熟,没法搞定,只能按照维修人员的建议先更换系统盘,再重装系统了 -_-!!! 重装系统... 累得是我们啊,所有环…