在HDFS里面,data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择? 为什么不能远少于64MB(或128MB或256MB) (普通文件系统的数据块大小一般为4KB) 1)减少硬盘寻道时间(disk seek time) HDFS设计前提是支持大容量的流式数据操作,所以即使是一般的数据读写操作,涉及到的数据量都是比较大的.假如数据块设置过少,那需要读取的数据块就比较多,由于数据块在硬盘上非连续存储,普通硬盘因为需…

深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径.对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节.在看这篇博文之前需要对HDFS以及分布式系统有一些了解.请参考这篇博客.本篇博文首先对HDFS的重要特性和使用场景做一个简要说明,之后对HDFS的数据读写.元数据管理以及NameNode.SecondaryNamenode的工作机制进行深入分析.过程中也会对一些配置参数做一个说明. 一.HDFS的重要特性 First…

HDFS的WEB UI管理页面 50070 端口 无法访问解决办法! 本文基于HADOOP-3..1.0,Cecntos7.0环境下进行测试,所以遇到很多新鲜的问题: 特别注意:HaDoop3.0之前web访问端口是50070   hadoop3.0之后web访问端口为9870 学习建议:倘若按照多数人的配置进行配置且配置语法没有问题,遇到错误时,尽量不要先进行配置的更改,先考虑其他客观因素,比如防火墙.SELinux等等 另外尤其要注意版本问题. 常见问题: 描述:Permission den…

hdfs集群启动的常见问题 1.用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里: a.在服务器的终端命令行使用jps查看相关进程 观察节点是否存活 b.如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因 1)配置文件出错,saxparser exception; ——找到错误提示中所指出的配置文件检查修改即可 2)unknown host——主机名不认识,配置/etc/hosts文件即可,或者是配置文件中所用主机名跟实际不一致 (注…

基本描述 Kerberos使用Needha-Schroeder协议作为它的基础.它使用了一个由两个独立的逻辑部分:认证服务器和票据授权服务器组成的"可信赖的第三方",术语称为密钥分发中心(KDC).Kerberos工作在用于证明用户身份的"票据"的基础上. KDC持有一个密钥数据库:每个网络实体--无论是客户还是服务器--共享了一套只有他自己和KDC知道的密钥.密钥的内容用于证明实体的身份.对于两个实体间的通信,KDC产生一个会话密钥,用来加密他们之间的交互信息.…

阅读本文可以带着下面问题:1.HBase遇到问题,可以从几方面解决问题?2.HBase个别请求为什么很慢?你认为是什么原因?3.客户端读写请求为什么大量出错?该从哪方面来分析?4.大量服务端exception,一般原因是什么?5.系统越来越慢的原因是什么?6.Hbase数据写进去,为什么会没有了,可能的原因是什么?7. regionserver发生abort,遇到最多是什么情况?8.从哪些方面可以判断HBase集群是否健康?9.为了加强HBase的安全性,你会采取哪些措施?在Tcon分布式系统测…

阅读本文可以带着下面问题:1.HBase遇到问题,可以从几方面解决问题?2.HBase个别请求为什么很慢?你认为是什么原因?3.客户端读写请求为什么大量出错?该从哪方面来分析?4.大量服务端exception,一般原因是什么?5.系统越来越慢的原因是什么?6.Hbase数据写进去,为什么会没有了,可能的原因是什么?7. regionserver发生abort,遇到最多是什么情况?8.从哪些方面可以判断HBase集群是否健康?9.为了加强HBase的安全性,你会采取哪些措施? 在Tcon分布式系统…

最近一段时间,负责公司的产品日志埋点与收集工作,搭建了基于Flume+HDFS+Hive日志搜集系统. 一.日志搜集系统架构: 简单画了一下日志搜集系统的架构图,可以看出,flume承担了agent与collector角色,HDFS承担了数据持久化存储的角色. 作者搭建的服务器是个demo版,只用到了一个flume_collector,数据只存储在HDFS.当然高可用的日志搜集处理系统架构是需要多台flume collector做负载均衡与容错处理的. 二.日志产生: 1.log4j配置,每隔1…

地理数据库技术一直以来都是ArcGIS的基础技术.为充分使用ArcGIS的全部功能则需要把数据存储在Geodatabase当中.Geodatabase是一个综合性的信息模型,它可以支持存储几乎任意类型的数据,例如矢量数据.属性.影像.地形和3D对象.存储这些类型的数据时,还可以定义它们的行为,例如子类.域.属性规则.连接规则.拓扑规则,从而可以保证数据的完整性.     Geodatabase技术是ArcGIS for Desktop和ArcGIS for Server平台组件的一部分,所拥有的…

HBase常见问题答疑解惑[持续更新中] 本文对HBase开发及使用过程中遇到过的常见问题进行梳理总结,希望能解答新加入的HBaser们的一些疑惑. 1. HTable线程安全吗? HTable不是线程安全的,使用过程中建议一个线程中使用一个HTable对象,不同线程间不要共享HTable对象. 同时,为了提高客户端的效率,不同的HTable对象公用同一个Configuration对象,共享HBase服务端的元数据信息,详见HBase权威指南中有关HTable部分的介绍. 2. HTablePo…