一.RPC(Remote Procedure Call  ) :远程过程调用 1.RPC是远程过程调用协议,实现调用者和被调用者二地之间的连接和通信.其基本通信模型是基于client/server进程间相互通信模型 ,如图1所示.                                图 1    使用RPC调用完成远程调用示意图 2.利用HADOOP的RPC框架实现Server和Client远程通信 (1)定义一个接口    MyInterface (2) 定义接口的实现类 (3)RP…

单击模式(Standalone): 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 伪分布式(Pseudo-Distributed Mode): 伪分布模式在“单节点集群”上运行Hado…

1. 显示当前目录结构 # 显示当前目录结构 hadoop fs -ls <path> # 递归显示当前目录结构 hadoop fs -ls -R <path> # 显示根目录下内容 hadoop fs -ls / 2. 创建目录 # 创建目录 hadoop fs -mkdir <path> # 递归创建目录 hadoop fs -mkdir -p <path> 3. 删除操作 # 删除文件 hadoop fs -rm <path> # 递归删除…

一.windows上传文件到 linux的hdfs 1.先在 centos 上开启 hdfs, 用 jps 可以看到下面信息, 说明完成开启 2.在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后, 要在 hadoop 的 bin 文件上放以下两个文件(网上找下载), 3.创建 maven 工程, 运行读写程序 pom 文件 <dependency> <groupId>org.apache.loggin…

 一.引言: 作为一名大三的学生,找实习对于我们而言是迫在眉睫的.实习作为迈入工作的第一步,它的重要性不言而喻,一份好的实习很大程度上决定了我们以后的职业规划. 那么,一份好的实习应该考量哪些因素呢?对于我们计算机专业的学生而言现在的实习趋势是什么呢? 我从实习僧网站爬取了5000条全国互联网行业的职位信息(时间节点06/17),下面开始从职位.薪资.地点.时长.工作要求五个维度进行分析. 二.数据提取与分析 爬取的页面 软件类实习中的实习月份需求.实习天数需求.实习岗位.公司名称.薪资范围 和…

前言 只有光头才能变强. 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y 上一篇已经讲解了「大数据入门」的相关基础概念和知识了,这篇我们来学学HDFS.如果文章有错误的地方,不妨在评论区友善指出~ 一.HDFS介绍 上篇文章已经讲到了,随着数据量越来越大,在一台机器上已经无法存储所有的数据了,那我们会将这些数据分配到不同的机器来进行存储,但是这就带来一个问题:不方便管理和维护 所以,我们就希望有一个系统可以将这些分布在…

目录 可以先用local模式读取一下 步骤 一.先将做测试的数据上传到HDFS 二.开发scala代码 standAlone模式查看HDFS上的文件 步骤 一.退出local模式,重新进入Spark-shell 二.开发scala代码 可以先用local模式读取一下 步骤 一.先将做测试的数据上传到HDFS cd /export/servers/sparkdatas hdfs dfs -mkdir -p /sparkwordcount hdfs dfs -put wordcount.txt /s…

HBASE操作:(一般先合并region然后再压缩) 一 .Region合并: merge_region   'regionname1','regionname2' ,'true'  --true代表强制合并,一般要加上 一般要是将小文件根据配置的最大上限进行合并,合并后最好清理一下hdfs 二.Region 压缩: 我们以test表为例: 我们先创建一张不含任何压缩格式的test表,并且向其导入10多G的数据$ hadoop fs -du -h /hbase/data/default/   …

为了帮助卖家提高运营水平,卖家管理后台会展示一些访客.订单等趋势和指标数据,如PV,UV,转化率,GMV等: 这些指标的计算依靠前端埋点和订单详情等数据,其特点是数据量大,并有一定的实时性要求. Druid本质是一个分布式时序数据库,其设计恰好满足这个场景: Historical数据存储使用HDFS等成熟的分布式文件系统方案,高可用.水平扩容 Lambda架构,Realtime部分使用LSM-Tree实现,满足流数据的即时查询需求 下面从2方面,整理一下Druid的关键技术点: Druid架构设…

Hadoop专有名词 一. HDFS 二. MapReduce 1．MRAppMaster:MapReduce Application Master 负责整个过程调度和协调的 2．MapTask:在Map阶段:负责Map阶段整个数据处理流程 3．ReduceTask:在Reduce阶段:负责Reduce阶段整个数据处理流程 4．Job:LocalJobRuuner  YarnRunner 5．数据切片:splits:逻辑概念 hdfs:block对文件的切块 6．Inputformat:默认的I…