大数据相关技术原理资料整理(hdfs, spark, hbase, kafka, zookeeper, redis, hive, flink, k8s, OpenTSDB, InfluxDB, yarn)
hdfs:
hdfs官方文档
深入理解HDFS的架构和原理 https://blog.csdn.net/kezhong_wxl/article/details/76573901
HDFS原理解析(总体架构,读写操作流程) http://www.cnblogs.com/duanxz/p/3874009.html
经典漫画讲解HDFS原理 https://blog.csdn.net/scdxmoe/article/details/50904881
独家 | 一文读懂Hadoop(二)HDFS(上) https://cloud.tencent.com/developer/article/1031641
Hadoop之HDFS面试题整理 https://blog.csdn.net/qq_37873221/article/details/80138658
插一个netty的帖子 Netty 实现原理浅析https://cloud.tencent.com/developer/article/1031640
*** ROC曲线 和 AUC 直白详解 https://www.jianshu.com/p/11be7ff89d8f ***
spark
spark 官方文档
spark 面试题目详解 https://www.jianshu.com/p/7c892fd9da2b
spark面试总结1 https://www.cnblogs.com/Striverchen/p/10712710.html
spark面试总结2 https://www.cnblogs.com/Striverchen/p/10712716.html
spark面试总结3 https://www.cnblogs.com/Striverchen/p/10712723.html
spark面试总结4 https://www.cnblogs.com/Striverchen/p/10712729.html
Spark面试题整理 https://www.jianshu.com/p/7a8fca3838a4
hbase
官方文档
HBASE架构深度解析 https://www.cnblogs.com/ios1988/p/6266767.html
Hadoop 原理学习(5)HBase 架构与工作原理3 - HBase 读写与删除原理 https://blog.csdn.net/t894690230/article/details/80515426
Hbase面试的那些问题 https://blog.csdn.net/u013384984/article/details/80808353
HBase 框架学习之路 https://www.jianshu.com/p/562f67e36a21
【面试】HBase面试题 https://www.jianshu.com/p/e405ed781cab
hbase面试题 https://www.cnblogs.com/bigdata-stone/p/9374751.html (重点: 导致Hbase挂掉的场景)
Hbase常见面试题 https://blog.csdn.net/lp284558195/article/details/80406847
HBase基础的几个关键点--大概可能是面试题(7) https://blog.csdn.net/qiezikuaichuan/article/details/51718945
Hbase相关面试题 https://blog.csdn.net/HaixWang/article/details/79514886
kafka
官方文档
Kafka架构和原理深度剖析 https://www.cnblogs.com/feiyudemeng/p/9253983.html
kafka原理深入研究 (转 ) https://www.cnblogs.com/xifenglou/p/7251112.html (重点: 参考文章部分)
Kafka的架构原理,你真的理解吗? https://www.jianshu.com/p/4bf007885116
深入剖析kafka架构内部原理 https://blog.csdn.net/lp284558195/article/details/80297208
kafka面试题整理 https://blog.csdn.net/u010705742/article/details/85695442
Kafka最全面试题整理|划重点要考 https://blog.csdn.net/u013256816/article/details/88550812
Kafka面试题总结 https://blog.csdn.net/Future_LL/article/details/88031600
14个最常见的Kafka面试题及答案【转】 https://www.cnblogs.com/paul8339/p/7412512.html
zookeeper
ZooKeeper技术原理 https://blog.csdn.net/qq_38265137/article/details/80565177
ZooKeeper学习第六期---ZooKeeper机制架构 https://www.cnblogs.com/crazylqy/p/7132133.html
zookeeper工作原理、核心机制 https://blog.csdn.net/fenglongmiao/article/details/79305010
Zookeeper的关键机制的实现原理 https://blog.csdn.net/A_zhenzhen/article/details/78840416
zookeeper原理解析-选举 https://blog.csdn.net/u010154380/article/details/79275532
Zookeeper面试题 https://www.cnblogs.com/lanqiu5ge/p/9405601.html
谈一谈你对zookeeper 的理解 https://blog.csdn.net/qq_24871519/article/details/88261061
Zookeeper、Dubbo面试题总结 https://blog.csdn.net/chizizhixin/article/details/81867106
zookeeper任务与面试 重点(含答案) https://yq.aliyun.com/articles/669673
hive
Hive原理总结(完整版) https://www.cnblogs.com/beiyi888/p/9592490.html
大数据相关技术原理资料整理(hdfs, spark, hbase, kafka, zookeeper, redis, hive, flink, k8s, OpenTSDB, InfluxDB, yarn)的更多相关文章
- 新闻网大数据实时分析可视化系统项目——9、Flume+HBase+Kafka集成与开发
1.下载Flume源码并导入Idea开发工具 1)将apache-flume-1.7.0-src.tar.gz源码下载到本地解压 2)通过idea导入flume源码 打开idea开发工具,选择File ...
- 从技术 Leader 的招聘需求看,如何转岗为当前紧缺的大数据相关人才?
前段时间,跟候选人聊天的时候,一个有多年工作经验的资深 iOS 工程师告诉我,他最近正在学习 Machine Learning 相关的知识.他觉得,对于程序员来说,技术进步大大超过世人的想象,如果你不 ...
- [转帖]PKI技术原理(收集 整理 归纳)
PKI技术原理(收集 整理 归纳) https://blog.51cto.com/3layer/20430 总结归纳的 灰常好.. 7layer关注8人评论39427人阅读2007-03-14 11: ...
- AI加持的阿里云飞天大数据平台技术揭秘
摘要:2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛.资深专家徐晟来为我们分享<AI加持的阿里云飞天大数据平台技术揭秘>.本文主要讲了三大部分,一是原创技术优 ...
- Build2016上值得一看的大数据相关Session
(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 题记:Build2016开完很久了,现在才来回顾下,就说说那些和大数据相关的Session, ...
- 中国大数据六大技术变迁记(CSDN)
大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望: 追本溯源,悉大数据六大技术变迁 伴随着大数据技术大会的发展,我们亲历 ...
- 大数据 --> 大数据关键技术
大数据关键技术 大数据环境下数据来源非常丰富且数据类型多样,存储和分析挖掘的数据量庞大,对数据展现的要求较高,并且很看重数据处理的高效性和可用性. 传统数据处理方法的不足 传统的数据采集来源单一,且存 ...
- Java转大数据开发全套视频资料
大数据在近两年可算是特别火,有很多人都想去学大数据,有java转大数据的,零基础学习大数据的.但是大数据真的好学吗. 我们先来了解一下什么是大数据. 大数据是指无法在一定时间内用常规软件工具对其内容进 ...
- 一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了
一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了 转载: 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它 ...
随机推荐
- modao账户
chairman987@163.com 墨刀注册 p@ssw0rd OR 123456
- koa2 get post api restful前端联调
1.git https://github.com/MengFangui/koa2-restful-api 2.示例代码 //引入 Koa 服务器 const koa = require('koa'); ...
- Linux-flock文件锁的使用
在多个进程同时操作同一份文件的过程中,很容易导致文件中的数据混乱,需要锁操作来保证数据的完整性,这里介绍的针对文件的锁,称之为“文件锁”-flock. flock,建议性锁,不具备强制性.一个进程使用 ...
- odoo开发笔记--定时任务源码分析
场景描述: 处理思路: 参考文章: 定时任务相关: https://www.jianshu.com/p/ad48239f84d6 https://blog.csdn.net/M0relia/artic ...
- 软件定义网络基础---REST API的设计规范
一:REST API的设计 REST API是基于HTTP协议进行设计的,由HTTP动词+URI组成 (一)HTTP动词 (二)资源的原型 文档(Document): 文档是资源的单一表现形式: 集合 ...
- Linux下 导出postgrelSql 数据库
登陆postgrel su - postgres 进入postgrelsql 安装目录下的bin目录 cd/usr/pgsql-11/bin 执行导出命令 ./pg_dump -U username ...
- 【Shell常用命令二】管道符 通配符
======================================
- [LeetCode] 533. Lonely Pixel II 孤独的像素 II
Given a picture consisting of black and white pixels, and a positive integer N, find the number of b ...
- Spring boot后台搭建二集成Shiro添加Remember Me
上一片文章实现了用户验证 查看 当用户成功登录后,关闭浏览器,重新打开浏览器访问http://localhost:8080,页面会跳转到登录页,因为浏览器的关闭后之前的登录已失效 Shiro提供了R ...
- 记RDS数据库表数据误删恢复
1.登录阿里云RDS后台,找到“备份”入口,如下图: 2.下载最近的备份数据,如下图: 3.解压,找到误删数据的表,如下图:(这里拿sys_role举例) 4.在本机(Windows系统), a. 装 ...